Scrapy框架使用代理
2024-09-08 07:39:34
使用代理抓取https://www.baidu.com/s?wd=ip
# -*- coding: utf-8 -*- ''' 一、在settings.py中开启中间件 DOWNLOADER_MIDDLEWARES = { 'daili.middlewares.DailiDownloaderMiddleware': 543, } 二、在middlewares.py中重写DailiDownloaderMiddleware的process_request方法 class DailiDownloaderMiddleware(object): def process_request(self, request, spider): request.meta['proxy'] = 'http://124.205.155.156:9090' return None ''' import scrapy class DlSpider(scrapy.Spider): name = 'dl' allowed_domains = ['www.baidu.com'] start_urls = ['https://www.baidu.com/s?wd=ip'] def parse(self, response): content = response.text print("*"*100) print(content) with open('ip.html','w',encoding='utf-8') as fp: fp.write(content)
最新文章
- 为Node.js编写组件的几种方式
- js的异常捕获
- Mongodb无法访问28107的问题
- C#is运算符的作用
- MySQL查询及删除重复记录的方法
- 免费电子书:微软Azure基础之Azure Automation
- LeetCode-Sudoku Solver (递归解法)
- SIMATIC PCS 7 结构图
- 使用myfocus制作焦点图
- cocos2dX 事件之触摸事件和触摸事件集合
- 《我与Android不得不说的故事-1-立贴明志》
- 201521123009 《Java程序设计》第1周学习总结
- hbase 问题整理
- Eclipse工具常用快捷键
- Tomcat:3DES解密时中文乱码
- Unity Remote 无法连接
- Viterbi
- 【POI每日题解 #9】SKA-Piggy Banks
- 2、Python函数详解(0601)
- 服务器安装pip
热门文章
- 2015年开源项目荣登GitHub十强榜单
- Linux下安装过程中编译PHP时报错:configure: error: libjpeg.(a|so) not found
- POJ --3045--Cow Acrobats(贪心模拟)
- python中对单例模式的理解
- Java类和对象9
- Java中MySQL事务处理举例
- Maven(一)之Maven入门
- Monad的基本运算
- [国家集训队]拉拉队排练 Manancher_前缀和_快速幂
- [HAOI2007]理想的正方形 单调队列 暴力