scrapy使用大坑---meta参数传递出现之重复问题

问题描述:

    爬虫目标:

       实现哔哩哔哩网站的视频信息爬取,只要的信息结构爬去顺序为**关键词的搜索结果,拿到第一页上某个视频的标题,url,和时间,然后进入下级页面爬去该视频的对应的评论,回复,弹幕,点赞数等等数据,联合组成一个关于该视频的完整信息返回item进行后续处理和存储。

问题点   :

       通过meta参数传值时出现在被调用的函数中meta参数多次重复,废话不多说代码贴图:

爬取结果:(meta传递过来的值一直在重复,而response.url的输出说明网页的访问正确,说明智能是meta传递值有错误)

在网上查阅资料后原因为:(meta的参数传递是浅拷贝,并且scrapy是异步框架才会导致这样的问题)

解决办法:(改用深拷贝)

修改后效果:

最新文章

  1. PHP流程控制结构之分支结构
  2. javascript里阻止事件冒泡
  3. oracle 中 rownum 和 row_number()
  4. [ruby on rails] 跟我学之(8)修改数据
  5. cenos配置
  6. http请求返回响应码的意思
  7. [原]AngularJS iframe打开不同域的内容时报错误
  8. 前端面试题第一波,要offer的看过来~
  9. C#中的switch case
  10. Android EditText圆角的方法
  11. DevExpress ASP.NET 使用经验谈(4)-CriteriaOperator的使用
  12. AutoPostBack通过现象看本质
  13. flask 上传文件
  14. 【Django】 视图层说明
  15. Awesome CLI
  16. Windows 2008 r2上安装MySQL
  17. python小练习,密码等级问题
  18. 学习python 第一章
  19. 死磕nginx系列--配置文档解读
  20. bisecting k-means

热门文章

  1. java对象的方法属性和代码块的加载顺序
  2. Lowest Common Ancestor of a Binary Tree(二叉树公共祖先)
  3. JavaBean简介和要求
  4. HDU 6617 Enveloping Convex(凸包+半平面交+二分)
  5. Codeforces - 1198D - Rectangle Painting 1 - dp
  6. HDU 1009 FatMouse' Trade题解
  7. Spring AOP 简单应用,对请求参数进行拦截处理
  8. Spark 计算人员三度关系
  9. 理解Promise (3)
  10. 5.xml约束技术--------schema