参考 ： http://www.th7.cn/Program/Python/201704/1154208.shtml

原因是网站的防爬虫配置起到了作用

(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0'

(2):第二种方法是修改scrapy默认配置中的user-agent默认值

　　default_settings.py文件C:\Miniconda2\Lib\sitepackages\scrapy\settings\default_settings.py

　　把USER_AGENT = 'Scrapy/%s (+http://scrapy.org)' % import_module('scrapy').__version__

　　改为USER_AGENT = 'Mozilla/5.0'

最新文章

1. 关于我 — About Me
2. 基于Windows服务器集群的Redis主从配置指南
3. Oracle双实例切换
4. .NET中通過OUTLOOK發送附件內容
5. {Reship}Precision, Accuracy & Recall
6. JS 获取服务器时间
7. 使用dnspod进行简单的HTTP dns解析（防劫持）
8. AES 加解密
9. Java实战之03Spring-05Spring中的事务控制（基于AOP）
10. 多线程lock(instance)中instance的选择.
11. ffmepg命令行参数
12. 江湖急救篇：slave 复制错误
13. php memcached缓存集群
14. spring学习——注入静态对象属性
15. [PHP] assert()断言检测函数
16. <crtdbg.h> 的作用
17. 今天就整一个bug了
18. kindeditor 富文本粘贴 图片
19. FastDFS client for .net
20. HTML、jsp页面中radio，checkbox，select数据回显功能，默认被选中问题

热门文章

1. ZendFramework-2.4 源代码 - 关于MVC - Model层类图
2. python 2.7版本解决TypeError: 'encoding' is an invalid keyword argument for this function
3. Database returned an invalid datetime value. Are time zone definitions for your database installed?
4. Benelux Algorithm Programming Contest 2014 Final
5. CyclicBarrier源码分析
6. 继承Thread类使用多线程
7. 免费生成https证书以及配置
8. Less Css 教程
9. 【Climbing Stairs】cpp
10. MySQL5.7（三）数据表操作