python scrapy ip代理的设置
2024-08-25 23:49:05
在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为
# encoding: utf-8
import base64
proxyServer = 代理服务器地址 ##我的是‘http://proxy.abuyun.com:9010’ # 代理隧道验证信息 这个是在那个网站上申请的
proxyUser = 用户名
proxyPass = 密码
proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass) class ProxyMiddleware(object):
def process_request(self, request, spider):
request.meta["proxy"] = proxyServer
request.headers["Proxy-Authorization"] = proxyAuth 在setting文件中添加
DOWNLOADER_MIDDLEWARES = {
'项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
} 代码地址
https://github.com/sea1234/myipAgent
最新文章
- C语言学习020:可变参数函数
- 第四章 电商云化,4.1 17.5W秒级交易峰值下的混合云弹性架构之路(作者:唐三 乐竹 锐晟 潇谦)
- Delphi的哈希表(一)
- highCharts图表入门实例
- Java中构造函数执行顺序的问题
- PHP中将数据库中的数据显示在网页
- 初识Ajax技术
- 安装 php-gd
- iOS AVAudioPlayer 提示音
- PHPStrom上传文件报502错误原因
- 课程作业02(关于Java的几点讨论)
- Spring Security4.1.3实现拦截登录后向登录页面跳转方式(redirect或forward)返回被拦截界面
- luogu5283 异或粽子
- Python 模块定义、导入、优化详解
- C++ Opencv 自写函数实现膨胀腐蚀处理
- HTML-CSS-JS-JQ常用知识点总结
- node学习笔记_03 express框架
- emouse思·;睿—评论与观点整理之四
- CentOS7系统更换YUM Repo源
- 【ACM】Knapsack without repetition - 01背包问题
热门文章
- http协议报头详解
- 【程序员笔试面试必会——排序①】Python实现 冒泡排序、选择排序、插入排序、归并排序、快速排序、堆排序、希尔排序
- MVVM中轻松实现Command绑定任意事件的Command
- WPF:自定义ListBox的选择样式
- Codeforces Round #428 (Div. 2)E. Mother of Dragons
- Java的优势
- 为什么MVC不是一种设计模式?
- Highcharts 基本曲线图;Highcharts 带有数据标签曲线图表;Highcharts 异步加载数据曲线图表
- guava学习--cache
- 由浅入深了解Retrofit(一)