urllib库爬虫技术从0开学习
2024-10-19 11:02:57
urllib库
urllib库是pytho中一个最基本网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。
urllopen函数
在python的urllib库中,有什么函数供我们使用,所以请求相关的方法都集成到urllib.request模块下以面了,先看urlopen函数基础使用:
from urllib import request
resp = request.urlopen('http://www.baidu.com')
print(resp.read())
事实上,使用浏览器访问百度右键查看源代码,你会发现跟我们刚才打印出来的数据是一模一样的,也就是说上面三行代码就已经帮我们把百度首页的全部代码全部扒下来,,一个基本的url对应的python真的非常简单,,
以下对urllopen函数的进行详细讲解:
1 url: 请求的url
2 data : 请求的data,如果设置了这个值,那么将变成post请求
3 返回值:返回值是一个http.client.HTTPRespons对象,这个对象是一个类文件句柄有read(size),readline,readlines 以及getcode等方法
最新文章
- main 返回值
- UDS(ISO14229-2006) 汉译(No.7 应用层协议)【未完,待续】
- 解决开启SQL Server sql Always on Group 事务日志增大的问题
- 学习django之python中os模块的函数
- NSArray遍历和修改崩溃
- JDK的下载、安装及环境变量的配置
- UITableViewCell的重用机制原理
- Android开发UI之在子线程中更新UI
- libvirt之virt-install
- thoughtbot/capybara-webkit
- cmd 跟踪路由
- [intellij IDEA]导入eclipse项目
- HO6 Condo Insurance Policy
- Delphi调用API函数获取Windows目录信息、获取System目录信息、获取Temp临时文件目录信息
- drools kie-server和kie-workbench安装手册
- Chrome---谷歌浏览器修改用户缓存文件夹 如何设置缓存路径
- this inspection detects names that should resolved but don't. Due to dynamic dispatch and duck typing, this is possible in a limited but useful number of cases. Top-level and class-level items are sup
- 《Linux就该这么学》第四天课程
- Mp4 to Img
- 如何获取帮助———— QQ群讨论摘要