Day2-异步IO+Scrapy爬虫

2024-08-24 04:26:14

一、异步IO

　　http://www.cnblogs.com/wupeiqi/articles/6229292.html

　　　这篇文章写的不错，展示了多种高并发的方式，从同步执行→多线程→多进程→asyncio→gevent→twisted→tornado等等，详细介绍了并发的原理。最后由于水平有限，我采用了gevent的简单到令人发指的模块。这里就不详细说明了，具体见上面的博客吧。

二、Scrapy爬虫

　　http://www.cnblogs.com/wupeiqi/articles/6229292.html

　　　这个博客处也有对Scrapy模块的详细介绍。同时这几天我也看完了一本新书，感觉不错。介绍的scrapy爬虫内容也很详细。见下图，

这本书虽然是国人写的，不过内容和详实，其中也有很多scrapy实例，很多例子直接套用就可以用于实战，所以还是蛮不错的。博客和这本书可以相互补充，共同完善我们的知识点。

PS：今天刚看完这本书，明天尝试着用scrapy爬取一下我国四大财经网站：东方财富网、新浪财经、和讯网、同花顺金融服务网。爬虫学完还需要学习mongodb和redis，哎，任重而道远啊。。。。

最新文章

热门文章