python ip代理
2024-08-29 13:29:25
import random
import urllib.request
from bs4 import BeautifulSoup
import time url ='http://www.whatismyip.com.tw/'
for i in range(0,5): iplist = ['111.13.7.123:80','117.143.109.152:80','59.127.154.78:80']
proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36')]
urllib.request.install_opener(opener) response = urllib.request.urlopen(url) html = response.read().decode('utf-8') soup=BeautifulSoup(html,'html.parser') a=soup.find_all("script",{"type":"application/json"}) print(a)
time.sleep(1)
注意的是要验证代理ip是否可用
大家可以参考这个网站
http://www.66ip.cn/yz/
最新文章
- iOS10 拍照崩溃问题
- 内网安全工具之hscan扫描
- ubuntu 安装node.js + express + mongodb
- sqlserver计算表使用大小sql
- 【Valid Palindrome】cpp
- 关于ThinkRock中的Topics
- SAP-SD-ABAP-VMOD 查找和应用SD模块用户出口(user exit) 好方法 .
- 标准I/O库之格式化I/O
- -_-#QUOTA_EXCEEDED_ERR: DOM Exception 22
- [LeetCode] 230. Kth Smallest Element in a BST 解题思路
- linux之getcwd函数解析
- UVA 674 (入门DP, 14.07.09)
- DOM操作-倒排序子元素
- angular2新手学习笔记(1)概述
- HDFS概述(1)————HDFS架构
- memcached实战系列(七)理解Memcached的数据过期方式、新建过程、查找过程
- c++ 实现拓扑排序
- Task Asnyc 异常问题
- 使用虚拟机VM12安装REHL7
- 使用Future停止超时任务