1，请求：requests

　  requests.get(url, headers)

　  requests.post(url, data=data, files=files)

　  urllib模块:

　  Python2

　  import urllib2

　  response = urllib2.urlopen('http://www.baidu.com');

　  Python3

　  import urllib.request

　  response =urllib.request.urlopen('http://www.baidu.com');

2，解析：

　　lxml (解析网页)

　　from lxml import etree

　　# 获取请求网页数据

　　html = etree.HTML(text)

3，存储：

　　mongodb数据库

　　mysql数据库

　　redis数据库

4，工具：

　　selenium自动化工具

5，框架：

　　scrapy和scrapy-redis

最新文章

1. java中易错点（一）
2. x64内联汇编注意点
3. 读“日请求亿级的QQ会员AMS平台PHP7升级实践”博客心得笔记
4. CF 66D. Petya and His Friends
5. 如何根据IP查找计算机名
6. Object.assign()
7. Java中的try catch finaly先后调用顺序
8. Java进阶(三十八)快速排序
9. pip 升级
10. Mysql linux -N命令
11. linux 读取物理寄存器
12. phpstorm psr2样式.xml
13. rook issues
14. Building microservices with ASP.NET Core (without MVC)(转)
15. pycharm Tab键设置成4个空格
16. STM32 PWM的输出与Keil软件仿真
17. addEventListener、onclick和jquery的bind()、click()
18. Treflection06_调用静态方法
19. Atcoder Grand Contest 032C(欧拉回路，DFS判环)
20. DetachedCriteria用法

热门文章

1. 第五章Java
2. nicstat命令安装与分析
3. 使用jvisualvm远程监控tomcat(阿里云ECS)
4. Puppet部署：安装puppet server、client
5. C# JSON的序列化与反序列化
6. BZOJ 4668: 冷战 并查集启发式合并/LCT
7. Linux命令-磁盘管理(二)
8. source和resource的区别
9. [pytorch笔记] torch.nn vs torch.nn.functional; model.eval() vs torch.no_grad(); nn.Sequential() vs nn.moduleList
10. JavaScript实现页面滚动到div区域div以动画方式出现