参考博客:https://www.cnblogs.com/xiaodangshan/p/7197563.html

安装过程比较简单,需要注意,安装之后,为了不影响系统自带的python2.6版本,需要在用户家目录下设置别名

vim  ~/.bashrc

增加如下内容:

alias python3='/data/python3.6/bin/python3.6'
alias pip3='/data/python3.6/bin/pip3'

然后使用命令,使得环境变量变量生效

source ~/.bashrc

然后安装scrapy

pip3 install scrapy

安装mongodb

使用scrapy创建项目

scrapy startproject douban

进入项目目录 douban/douban/spider/

在spider目录中创建编写xpath和正则表达式的文件夹

scrapy genspider douban_spider movie.douban.com

最新文章

  1. Socket聊天程序——初始设计
  2. 【阮一峰】深入研究URL编码问题及JavaScript相应的解决方案
  3. Nginx 使用 sever 段规则屏蔽恶意 User Agent
  4. android开发期间使用真机调试但系统无法识别出真机
  5. jenkins2 groovy语法
  6. Java的锁优化
  7. 版本控制 - Git
  8. 数据库不能用delete---index空间不足
  9. AngularJS(2)-Scope作用域和控制器
  10. java selenium webdriver实战 helloWord
  11. 如何使用VBS脚本给在直播间授权登陆
  12. 百度统计api 关于搜索引擎返回参数问题
  13. 在interface vlan下敲no ip proxy-arp什么意思
  14. Dev_GridView:设置列为Button
  15. 软件项目第一次sprint评论
  16. 精读JavaScript模式(二)
  17. 【树莓派】树莓派与XBMC及Kodi、LibreELEC插件(二)
  18. VMware workstation 与 VMware GSX Server 的区别
  19. 解决linux分区提示doesn't contain a valid partition table
  20. html5--移动端视频video的android兼容,去除播放控件、全屏等

热门文章

  1. greenplum的用法
  2. myeclipse安装jad反编译插件
  3. Java -- 异常的捕获及处理 -- 自定义异常类
  4. 【NLP】HanLP环境
  5. 【权限维持】window服务端常见后门技术
  6. Django 创建第一个项目
  7. Django SimpleCMDB 项目
  8. javascript使用jQuery加载CSV文件+ajax关闭异步
  9. LVS+NGINX+TOMCAT_集群实施操作记录.docx
  10. error:1407742E:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1 alert protocol version