Scrapy笔记:使用代理ip
2024-08-20 23:01:32
scrapy框架使用代理ip的基本思路是修改请求对象中的meta['proxy']的值,将代理ip赋值给这个属性。遵循这个思路,只要是生成Request对象的地方都可以设置Request的值。
downloader中间件
spider中间件
spider内部对象定义的内部parse函数和parse_start_url()等
其中最方便的是在downloadermiddleware中使用
只要在request中加入下面的设置就可以实现代理ip访问资源,当然前提是这个代理ip可用以及满足可以使用协议:
request.meta['proxy'] = 'http://%s:%d'%('110.73.10.242', 8123)
至于其它像读取ip、ip调用顺序的逻辑就直接在生成请求的地方进行设置即可。
相关的内容:使用通用库进行网络爬取的方式
import urllib2
import urllib
import requests
url = 'http://baiduc.com/'
req = urllib2.Request(url=url)
req.set_proxy('12.24.23.111',9000)
response = urllib.urlopen(req, timeout=30)
print(response.msg)
都是通过在请求上设置代理来达到目的。
最新文章
- 理解Docker(1):Docker 安装和基础用法
- JavaScript 常用函数总结
- 刨一刨内核container_of()的设计精髓
- VS2010中将当前选定项目做为启动项
- CSSOM视图模式(CSSOM View Module)相关整理(转载)
- jsPlumb 学习笔记
- 浏览器中打开IOS应用并传参
- centOS 一键php环境安装-php博弈
- LR使用
- java07循环结构
- 【HDU2122】Ice_cream’s world III(MST基础题)
- PCB電路板為何要有測試點?
- POPTEST学员就业面试题目!!!!!
- 你所不知道的 CSS 滤镜技巧与细节
- get和post提交数据的差别
- 32-改变eclipse默认的Tomcat部署路径
- 批量生成反色图片,用PHOTOSHOP批处理功能。
- git —— 分支冲突
- Java中的网络编程-3
- highcharts配置的效果如下