scrapy的UA池和代理池
2024-08-31 00:44:04
一.下载中间件(Downloader Middlewares)
框架图如下
下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层组件.
- 作用:
(1)引擎的请求传递给下载器的过程中,下载中间件可以对请求进行一系列处理.比如设置请求的User-Agnet,设置代理等
(2)在下载器完成Response传递给引擎中,下载中间件可以对响应进行一系列处理.比如进行gzip解压等.
我们主要使用下载中间件处理请求,一般会对请求设置随机的User-Agent,设置随机的代理.目的在于防止爬取网站的的反爬虫策略.
二.UA池(User-Agent池)
- 作用:尽可能多的将scrapy工程中的请求伪装成不同的浏览器身份.
- 操作流程;
1.在下载中间件中拦截请求
2.将拦截到的请求头信息中的UA进行篡改伪装
3.在配置文件中开启下载中间件
代码展示:
#导包
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware
import random
#UA池代码的编写(单独给UA池封装一个下载中间件的一个类)
class RandomUserAgent(UserAgentMiddleware): def process_request(self, request, spider):
#从列表中随机抽选出一个ua值
ua = random.choice(user_agent_list)
#ua值进行当前拦截到请求的ua的写入操作
request.headers.setdefault('User-Agent',ua) user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
"(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
"(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
"(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
"(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
"(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
"(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
三.代理池
- 作用:尽可能多的将scrapy工程中的请求的ip设置成不同的.
- 操作流程:
1.在下载中间件中拦截请求
2.将拦截到的请求ip修改成某一代理ip
3.在配置文件中开启下载
代码展示:
#批量对拦截到的请求进行ip更换
#单独封装下载中间件类
class Proxy(object):
def process_request(self, request, spider):
#对拦截到请求的url进行判断(协议头到底是http还是https)
#request.url返回值:http://www.xxx.com
h = request.url.split(':')[0] #请求的协议头
if h == 'https':
ip = random.choice(PROXY_https)
request.meta['proxy'] = 'https://'+ip
else:
ip = random.choice(PROXY_http)
request.meta['proxy'] = 'http://' + ip #可被选用的代理IP
PROXY_http = [
'153.180.102.104:80',
'195.208.131.189:56055',
]
PROXY_https = [
'120.83.49.90:9000',
'95.189.112.214:35508',
]
最新文章
- python笔记1-转义字符
- log4j2 不使用配置文件,动态生成logger对象
- RxJava 和 RxAndroid 一 (基础)
- iOS 重大新漏洞:可绕开苹果审核机制
- ShortestPath:Six Degrees of Cowvin Bacon(POJ 2139)
- 3月3日(3) Binary Tree Preorder Traversal
- NodeJS较高版本对connect支持的问题
- HTTP之I/O模型图MPM详细解析
- android 编译的原理介绍
- 将dom4j格式化为标准的xml字符串
- cocos2d-x 3.10 显示Box2d 调试视图
- WebAppBuilder自定义主题
- NOIP2017SummerTraining0705
- yum方式安装mysql
- [日常工作]虚拟机或者实体机转换成HyperV虚拟机的方法
- Linux判断文件是否为空,不为空则打印该文件的大小
- Vue父子组件生命周期
- HDU 2056 龟兔赛跑 (DP)
- [leetcode]Sort List @ Python
- 剖析tcp与udp及应用场景协议方案选择
热门文章
- 2.6 访问 Shell 脚本的参数
- BZOJ 1565 Luogu P2805 [NOI2009]植物大战僵尸 (Tarjan判环、最小割)
- Maven学习总结(31)——Maven坐标详解
- java json数据转List对象的集合-----阿里巴巴插件---及原生json---JSON 与 对象 、集合 之间的转换 JSON字符串和java对象的互转【json-lib】
- 又见GCD
- 测试出来了第一版代码--可以得到用户token啦
- ORACLE-020:ORACLE技巧002 批量操作表
- Intellij IDEA安装插件
- 新浪微博开放平台之OAuth2.0认证
- javascript 中文与Unicode相互转化