Python 爬虫-Requests库入门
2024-10-20 03:17:53
2017-07-25 10:38:30
response = requests.get(url, params=None, **kwargs)
- url : 拟获取页面的url链接∙ params : url中的额外参数,字典或字节流格式,可选
- params参数是字典或字节序列,作为参数增加到url中
kv = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.request('GET', 'http://python123.io/ws', params=kv)
>>> print(r.url)
http://python123.io/ws?key1=value1&key2=value2
- **kwargs: 12个控制访问的参数
headers:字典,HTTP定制头
hd = {'user‐agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers=hd)
timeout : 设定超时时间,秒为单位
r = requests.request('GET', 'http://www.baidu.com', timeout=10)
proxies : 字典类型,设定访问代理服务器,可以增加登录认证
>>> pxs = { 'http': 'http://user:pass@10.10.10.1:1234'
'https': 'https://10.10.10.1:4321' }
>>> r = requests.request('GET', 'http://www.baidu.com', proxies=pxs)
使用举例:
import requests # r:response 右侧get: requests
r = requests.get('http://jwc.seu.edu.cn/')
一、返回值Response对象的属性
二、爬取网页的通用代码框架
import requests def gethtml(url):
# 打开网页有风险,需要使用try-except语句进行风险控制
try:
r = requests.get(url)
r.raise_for_status() # 如果打开失败,则会抛出一个HttpError异常
# encoding是从header中分析出来的编码方式,apparent_encoding是 从内容分析出的编码方式
r.encoding=r.apparent_encoding
return r.text
except:
print("打开失败")
三、requests库的方法和HTTP协议
- HTTP协议:超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。
HTTP协议采用URL作为定位网络资源的标识,URL格式如下:http://host[:port][path]
HTTP协议对资源的操作方法:
其中get,head方法是从服务器取回数据,post,put,patch,delete方法是向服务器写入或者修改数据。
patch 和 put 的区别:patch 是局部更新,而put 是全部更新。patch节省网络带宽,是HTTP协议改良后的新增指令。
HTTP的指令和requests 的方法一一对应。
- Requests 的七个主要方法
最新文章
- CSS知识图--转载
- SQL索引添加
- Linux下得到毫秒级时间--C语言实现(转-度娘818)
- [译]AngularJS中几种Providers(Factory, Service, Provider)的区别
- Redis常用数据类型介绍、使用场景及其操作命令
- ASP.NET 5探险(8):利用中间件、TagHelper来在MVC 6中实现Captcha
- MySQL配置
- 初学c++
- android开发之Parcelable使用详解
- 隐藏Activity标题栏
- (转)Server Tomcat v6.0 Server at localhost was unable to start within 45 seconds
- Java基础:多态(重载和重写)
- JAVA短信验证登录
- 手动清除memcached缓存方法
- mkfs -t ext3 错误/dev/sdxx is apparently in use by the system; 解决方法
- Bootstrap3 多个模态对话框无法显示的问题
- Win7 64位 + LoadRunner 11录制时弹不出IE的解决办法 Win7 64位 + LoadRunner 11录制时弹不出IE的解决办法
- 【python3接口自动化基础】json总结
- Spring Boot 中使用 @ConfigurationProperties 注解
- 【收集资料】OpenGL学习