python爬虫中的ip代理设置
2024-10-17 03:14:18
设置ip代理是爬虫必不可少的技巧;
查看本机ip地址;打开百度,输入“ip地址”,可以看到本机的IP地址;
本文使用的是goubanjia.com里面的免费ip;
使用时注意要注意传输协议是http还是https,代码如下;
# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
'wd':'ip地址'
}
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地,便于查看
with open('ip.html','w',encoding='utf-8') as f:
f.write(response.text)
打开存入的“ip.html”查看内容如下;
done.
最新文章
- java中的注解(Annotation)
- ionic入门之色彩、图标、边距和界面组件:列表
- UVA 1151二进制枚举子集 + 最小生成树
- JavaWeb 命名规则
- U盘安装Linux安装报错及解决方案
- JAVA逆向&;反混淆-追查Burpsuite的破解原理(转)
- [UWP小白日记-2]SQLite数据库DOME
- 通过traceroute追踪并打印成图片
- Shell入门(一)
- 第一册:lesson ninety-three。
- E. Thematic Contests 二分,离散化
- 8.1-uC/OS-III多任务应用
- 【Hadoop 分布式部署 六:环境问题解决和集群基准测试】
- docker部署jenkinsci blueocean
- [Android] Linux下JNI简单实现过程
- Oralce 序列
- 伪ajax操作
- java实现简单的数据库的增删查改,并布局交互界面
- Oracle删除主键约束的同时删除索引
- java安装环境变量设置
热门文章
- jstree:重新加载数据集,刷新树
- SpringBoot小技巧:统一异常处理
- Guide of Apache Directory Studio
- Intellij IDEA设置类注释和方法注释
- 关于【vue + element-ui Table的数据多选,多页选择数据回显,分页记录保存选中的数据】的优化
- Math 类
- Mysql 中 int(3) 和 int(11) 的区别
- Mysql 语句 insert into 与 replace into 区别
- SQL IN 子查询返回多对值
- Vue框架(一)——Vue导读、Vue实例(挂载点el、数据data、过滤器filters)、Vue指令(文本指令v-text、事件指令v-on、属性指令v-bind、表单指令v-model)