目的:提取内容进行格式化输出,类似于字典

编写item文件

class   JobBoleArticleItem(scrapy.Item):
title = scrapy.Field() #支持传进任何数据类型
date = scrapy.Field()
praise_num = scrapy.Field()
content = scrapy.Field()

爬虫文件中引入item类

from Redbacktest.items import JobBoleArticleItem    #按需更改

实例化

    def parse_detail(self,response):
article_item = JobBoleArticleItem()

传值

        article_item["title"] = title
article_item["date"] = date
article_item['praise_num'] = praise_num
article_item["content"] = content
       
        yield article_item  #item传递到pipeline中

修改setting文件使item_pipeline生效

ITEM_PIPELINES = {
'Redbacktest.pipelines.RedbacktestPipeline': 300,
}

pipeline调试

最新文章

  1. 论C#未来发展
  2. Linux 之 最常用的20条命令
  3. Lisp与JAVA的酷毙结合——abcl
  4. 设置repeater每行多少个的方法
  5. C# Dictionary的xml序列化
  6. Mysql优化相关总结
  7. Web —— 小技巧集
  8. SQL Server DBA三十问【转】
  9. Xcode调试之查看变量
  10. js日期倒计时效果
  11. HTTP / 1.1 RFC from W3C
  12. 错误代码: 1381 You are not using binary logging
  13. PyTorch官方中文文档:torch.optim
  14. Linux入门:增加用户,并赋予权限
  15. Schlumberger Petrel 2016.3 地震解释 油藏模拟
  16. nGrinder TestRunnerBarrier.groovy / jihedian
  17. sort+uniq
  18. Chrome插件消息传递实例
  19. centos7 启动mysql
  20. Vue 使用中的小技巧

热门文章

  1. [Erlang04]为什么有了rpc还有net_kernel:connect/1?
  2. C++11左值引用和右值引用
  3. oracle所有的乱码解决方案
  4. OCP认证052考试,新加的考试题还有答案整理-23题
  5. ubuntu和centos安装docker
  6. 批量自动化生成PDF目录标签
  7. P1001 A+B Problem (树链剖分)
  8. RSAUtils非对称加密
  9. 【Python】子域名查询脚本
  10. DataGridView绑定list的注意事项