之前介绍的requests库是一个阻塞式HTTP请求库,当我们发出一个请求后,程序会一直等待服务器响应,知道得到响应后,程序才会进行下一步处理。其实,这个过程比较耗时。如果程序可以在这个等待过程中做一些其他的事情,如进行请求的调度、响应的处理等,那么爬去效率一定会大大提高。

aiohttp就是这样一个提供异步web服务的库,从python3.5版本开始,python中加入了async/await关键字,使得回调的写法更加直观和人性化。aiohttp的异步操作借助于async/await关键字的写法变得更加简洁,架构更加清晰。使用异步请求库进行数据抓取时,会大大提高效率,下面我们来看一下这个库的安装方法。

1、相关链接

官网文档:http://aiohttp.readthedocs.io/en/stable

Github: http://github.com/aio-libs/aiohttp

PyPI: https://pypi.python.org/pypi/aiohttp

2、pip安装

pip3 install aiohttp

另外,官方还推荐安装如下两个库:一个是字符编码检测库cchardet,另一个是加速DNS的解析库aiodns。安装命令如下:

pip3 install cchardet aiodns

3、安装测试

安装完成之后,可以在python命令行下测试:

$ python3

>>> import aiohttp

如果没有报错,则证明库已经安装好了。

最新文章

  1. Python开发程序:选课系统-改良版
  2. Openfire Strophe开发中文乱码问题
  3. Class类
  4. xmpp怎么让群主踢人?
  5. SAP中寄售处理
  6. iOS有关截图的操作
  7. Android studio 断点技巧
  8. bootstrap-paginator分页插件的两种使用方式
  9. css实现文本缩略显示
  10. 项目Alpha冲刺Day10
  11. ssh整合之五struts和spring整合
  12. 勤拂拭软件Android开发之旅(1) 之 Android 开发环境搭建
  13. 强大的原生DOM选择器querySelector和querySelectorAll
  14. genymotion ddms查看data等文件目录
  15. Vue+Django2.0 restframework打造前后端分离的生鲜电商项目(1)
  16. oracle用户权限
  17. hdu 6406 Taotao Picks Apples (2018 Multi-University Training Contest 8 1010)(二分,前缀和)
  18. linux下安装svn出现configure: error: We require OpenSSL; try --with-openssl
  19. SQLServer将服务器A表写到服务器B表
  20. keras embeding设置初始值的两种方式

热门文章

  1. Visual Studio 调试 —— 附加到进程(远程服务器)
  2. VUE中CSS样式穿透
  3. Hello, OpenWrite
  4. SSM框架使用分页插件显示信息
  5. 小白学习VUE第一篇文章---如何看懂网上搜索到的VUE代码或文章---使用VUE的三种模式:
  6. spring boot整合kafka
  7. Thinkphp6框架学习:有关数据库的基本操作
  8. Scratch Blocks本地环境搭建
  9. mysql-connector-java-5.-bin.jar 下载方法
  10. Unity项目 - DeathtrapDungeon死亡地牢