刚开始学爬虫,网上搜了搜,目前最合适的是选scrapy。

先要安装scrapy。

很多的博客上用的教程都说,scrapy目前对python3支持不是很好。可是不能不学3啊。

先用anaconda最新版本4.3.2

import scrapy 发现报错!

直接上 pip install scrapy,

安装过程还可以,还是最后报了错。反复了几次,最后停留在缺少c++的工具

第一步 升级 .netframework到4.6

第二步 下载 visualcppbuildtools_full.exe,安装。文件不大,才3m,安装过程需要联网,我用了一个小时才安装好。

第三步,pip install scrapy。顺利通过

第四步 import scrapy ,顺利通过

第五步,练习爬虫程序,小案例没事,大的完整的案例,就报错, 什么 ‘float’ not a iterator.......烦死了

明白了,还是支持不够。

检查scrapy版本

进入根目录,命令行敲 scrapy version

显示版本是1.1.1

。直接上scrapy网站上找最新版。发现是1.3.2。显示可以支持python3(差很多版本了。)

进入pip

https://pypi.python.org/pypi/pip

搜索 scrapy 。这上面有1.3.2。(不明白为什么,pip install scrapy 没有自动安装这个版本)

下载下来  Scrapy-1.3.2-py2.py3-none-any.whl

直接pip安装

  pip install Scrapy-1.3.2-py2.py3-none-any.whl

过程显示  卸载了1.1.1版本,然后顺利安装了1.3.2

命令行测试

  scrapy fetch http://www.tjcac.gov.cn/xxgk/tzgg/201701/t20170120_46683.html (随便找个网页)

这是最后部分的截图,显示成功了。

最后总结,scrapy现在已经能够比较好的支持python3了。

最新文章

  1. jQuery学习之prop和attr的区别示例介绍
  2. fedora 关闭、禁止selinux
  3. 【NOIP2015】提高组D1 解题报告
  4. linux环境变量(转)
  5. [转] C# 泛型类型参数的约束
  6. mysql 系统性浅聊 myisam 存储引擎【原创】
  7. linux 搭建CA服务器 http+ssl mail+ssl 扫描与抓包
  8. Android 中 SearchView
  9. c# windows service 实现监控其他程序是否被关闭,关闭则报警
  10. Spring中ClassPathXmlApplication与FileSystemXmlApplicationContext的区别
  11. Debug 路漫漫-06
  12. System V 消息队列 实例
  13. 使用vs code开发纸壳CMS并启用Razor智能提示
  14. css忽略某一层的存在:pointer-events:none
  15. 如何优雅地使用vim编辑器
  16. Emmet 技巧
  17. js中关于json常用的内容、js将数字保留两位小数
  18. 24-从零玩转JavaWeb-包装类、自动装箱、自动拆箱
  19. RL for Robots
  20. LeetCode:螺旋矩阵【54】

热门文章

  1. Jdk8 DNS解析
  2. Spark2.x(六十一):在Spark2.4 Structured Streaming中Dataset是如何执行加载数据源的?
  3. Ubuntu命令行下缩小磁盘镜像img文件尺寸
  4. Spring不能直接@autowired注入Static变量/ 关于SpringBoot的@Autowired 静态变量注入
  5. window 安装使用npm
  6. 将pip源设置国内源
  7. 工控随笔_C#连接PLC_之_C#入门_02_程序性结构和注释
  8. Linux——xargs命令学习
  9. mysq5.7 主主同步
  10. [数据结构 - 第6章] 树之二叉排序树(C语言实现)