前言

有时候爬的次数太多时ip容易被禁，所以需要ip代理的帮助。
今天爬的思路是：到云代理获取大量ip代理，逐个检测，将超时不可用的代理排除，留下优质的ip代理。

一、爬虫分析

首先看看今天要爬取的网址

http://www.ip3366.net/free/

1.分析网址

首先判断网址是动态网址还是静态网址，静态网址就是直接能通过翻页从网址里找到页码，以下是每页的网址：

http://www.ip3366.net/free/?stype=1&page=2

http://www.ip3366.net/free/?stype=1&page=3

http://www.ip3366.net/free/?stype=1&page=4

所以推出是静态网址，每页page递增1的规律

2.分析数据

今天打算用xpath来解析数据，首先打开F12，可以看到每条代理的信息都包裹在tr中，因此我们可以先通过tr获取全部信息，再遍历tr里的ip，端口和类型

二、完整代码

附上完整代码和详细注释

import requests

from lxml import etree

# 5.检测ip质量

def check_ip(proxies_list):

    headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1'}

    can_use=[]

    for ip in proxies_list:

        try:

            # 设置超时时间timeout，如果响应时间超出则不合格

            response=requests.get(url=base_url,headers=headers,proxies=ip,timeout=0.1)

            if response.status_code==200:

                can_use.append(ip)

        except Exception:

            print('当前代理ip:',ip,'请求超时,检测不合格')

        finally:

            print('当前代理ip:',ip,'检测通过')

    return can_use

proxies_list=[]

# 爬3页

for page in range(1,4):

    print('---------------正在爬取第{}页数据---------------'.format(page))

    # 1.分析url，添加headers，伪装成浏览器

    base_url='http://www.ip3366.net/free/?stype=1&page={}'.format(str(page))

    headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1'}

    # 2.发送请求

    response=requests.get(url=base_url,headers=headers)

    # 3.解析数据

    response.encoding='gbk'

    page_text=response.text

    tree=etree.HTML(page_text)

    # 获取所有ip代理的信息，就是所有tr

    ip_list=tree.xpath('//*[@id="list"]/table/tbody/tr')

    # 遍历ip代理

    for tr in ip_list:

        # xpath默认是列表类型，加个[0]就是文本类型了

        http_type=tr.xpath('./td[4]/text()')[0]

        ip=tr.xpath('./td[1]/text()')[0]

        port=tr.xpath('./td[2]/text()')[0]

        # 4.构建代理ip结构(格式像这样子{'HTTPS': '47.100.182.193:8081'})

        proxies_dict={}

        proxies_dict[http_type]=ip+":"+port

        print('保存成功:',proxies_dict)

        proxies_list.append(proxies_dict)

        #放入空列表

print('获得代理ip数量:',len(proxies_list))

print('--------------------正在检测ip质量---------------')

can_use=check_ip(proxies_list)

print('质量高的:',can_use)

print('质量高的代理ip数量:',len(can_use))

运行效果如下：

总结

这个网站一次爬取次数多了，浏览器代理（headers）容易挂，换个浏览器代理即可。

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理

想要获取更多Python学习资料可以加
QQ:2955637827私聊
或加Q群630390733
大家一起来学习讨论吧！

巴特西

用Python批量爬取优质ip代理

前言

一、爬虫分析

1.分析网址

2.分析数据

二、完整代码

总结

最新文章

热门文章