python3 爬虫开发 学习总结一
virtualenv 安装虚拟环境的 pip install virtualenv
安装慢的话,可以指定源
pip install -i 源地址 xxx 就可以安装xxx
virtualenv xxx 生成xxx的虚拟环境
指定环境: virtualenv -p c:/xxx/xxpy/(windows 要加pythom3.exe) xxx 用python3生成xxx的虚拟环境
虚拟环境位于当前目录下
进入虚拟环境 :找到目录,然后 virtualenv xxx 进入
找目录麻烦,所以可以使用 virtualenvwrapper
安装virtualenvwrapper
pip install virtualenvwrapper
用virtualenvwrapper生成虚拟环境
mkvirtualenv xxx 生成xxx的环境,但是目录是是在默认目录下,我们可以修改:
在电脑环境变量里新建一个 WORKON_HOME 变量自己指定一下位置
如 : WORKON_HOME D:\env 就默认到d盘env文件夹下了
当我们再次cmd中运行workon的时候,就会去d盘env下找我们的虚拟环境
同时当用mkvirtualenv xxx的时,就会把虚拟环境建立到d盘下的env文件夹下
(mkvirtualenv xxx 创建的时候,同时会自动进入虚拟环境)
退出virtualenv用 deactivate
进入则: workon xxx 进入虚拟环境
尝试安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
(有可能会报错,我回到的貌似是ssl证书问题,所以需要先安装一下 certifi)
我是去https://pypi.python.org/pypi/certifi 下载的 certifi-2017.7.27.1-py2.py3-none-any.whl (md5, pgp)
然后进入certifi-2017..所在目录 ,再cmd下执行 pip install certifi.....whl,安装后
再次执行 pip install -i https://pypi.douban.com/simple scrapy
又遇到了 building 'twisted.test.raiser' extension c++的问题,然后根据提示去
然后安装了c++工具之后,
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
我电脑是intel64,py版本是3的所以 我下载了Twisted-17.5.0-cp36-cp36m-win32.whl
scrapy终于安装成功了
最新文章
- nginx+fastcgi+c/cpp
- 【Mybatis框架】查询缓存(一级缓存)
- es6+react环境搭建
- android NDK入门 windows下安装cygwin
- 正则表达式获取字符串中的img标签中的url链接
- 让PHP跑在Mac OS X中
- Collector
- 《Android进阶》之第二篇 launcher
- 在dropwizard中使用feign,使用hystrix
- Android源码浅析(四)——我在Android开发中常用到的adb命令,Linux命令,源码编译命令
- Proxmox VE中出现TASK ERROR: command 'apt-get update' failed: exit code 100的解决方法
- 将php脚本加入开机启动
- 小问题填坑,关于obj.x和obj[";x";]
- tensorflow的特征工程函数
- Dubbo源码分析
- OpenGL10-骨骼动画原理篇(1)
- ASP.NET MVC+Redis (准备工作)
- 搭建企业级NFS网络文件共享服务[二]
- 第三百零一节,python操作redis缓存-管道、发布订阅
- KKT原理以及SVM数学的理论推导分析
热门文章
- jsencrypt参数前端加密c#解密
- R︱mlr包帮你挑选最适合数据的机器学习模型(分类、回归)+机器学习python和R互查手册
- SDVO-DVI-I2C-register
- Java Web项目(Extjs)报错五
- java中equals和==以及toString
- Mac 常用快捷键
- tomcat原理(一)server.xml中的host虚拟主机的理解
- MFC,ADO方式实现数据库操作
- 微信小程序—微信自动退款
- eclipse - The superclass ";javax.servlet.http.HttpServlet"; was not found on the Java