win7下scrapy1.3.2安装
刚开始学爬虫,网上搜了搜,目前最合适的是选scrapy。
先要安装scrapy。
很多的博客上用的教程都说,scrapy目前对python3支持不是很好。可是不能不学3啊。
先用anaconda最新版本4.3.2
import scrapy 发现报错!
直接上 pip install scrapy,
安装过程还可以,还是最后报了错。反复了几次,最后停留在缺少c++的工具
第一步 升级 .netframework到4.6
第二步 下载 visualcppbuildtools_full.exe,安装。文件不大,才3m,安装过程需要联网,我用了一个小时才安装好。
第三步,pip install scrapy。顺利通过
第四步 import scrapy ,顺利通过
第五步,练习爬虫程序,小案例没事,大的完整的案例,就报错, 什么 ‘float’ not a iterator.......烦死了
明白了,还是支持不够。
检查scrapy版本
进入根目录,命令行敲 scrapy version
显示版本是1.1.1
。直接上scrapy网站上找最新版。发现是1.3.2。显示可以支持python3(差很多版本了。)
进入pip
https://pypi.python.org/pypi/pip
搜索 scrapy 。这上面有1.3.2。(不明白为什么,pip install scrapy 没有自动安装这个版本)
下载下来 Scrapy-1.3.2-py2.py3-none-any.whl
直接pip安装
pip install Scrapy-1.3.2-py2.py3-none-any.whl
过程显示 卸载了1.1.1版本,然后顺利安装了1.3.2
命令行测试
scrapy fetch http://www.tjcac.gov.cn/xxgk/tzgg/201701/t20170120_46683.html (随便找个网页)
这是最后部分的截图,显示成功了。
最后总结,scrapy现在已经能够比较好的支持python3了。
最新文章
- jQuery学习之prop和attr的区别示例介绍
- fedora 关闭、禁止selinux
- 【NOIP2015】提高组D1 解题报告
- linux环境变量(转)
- [转] C# 泛型类型参数的约束
- mysql 系统性浅聊 myisam 存储引擎【原创】
- linux 搭建CA服务器 http+ssl mail+ssl 扫描与抓包
- Android 中 SearchView
- c# windows service 实现监控其他程序是否被关闭,关闭则报警
- Spring中ClassPathXmlApplication与FileSystemXmlApplicationContext的区别
- Debug 路漫漫-06
- System V 消息队列 实例
- 使用vs code开发纸壳CMS并启用Razor智能提示
- css忽略某一层的存在:pointer-events:none
- 如何优雅地使用vim编辑器
- Emmet 技巧
- js中关于json常用的内容、js将数字保留两位小数
- 24-从零玩转JavaWeb-包装类、自动装箱、自动拆箱
- RL for Robots
- LeetCode:螺旋矩阵【54】
热门文章
- Jdk8 DNS解析
- Spark2.x(六十一):在Spark2.4 Structured Streaming中Dataset是如何执行加载数据源的?
- Ubuntu命令行下缩小磁盘镜像img文件尺寸
- Spring不能直接@autowired注入Static变量/ 关于SpringBoot的@Autowired 静态变量注入
- window 安装使用npm
- 将pip源设置国内源
- 工控随笔_C#连接PLC_之_C#入门_02_程序性结构和注释
- Linux——xargs命令学习
- mysq5.7 主主同步
- [数据结构 - 第6章] 树之二叉排序树(C语言实现)