step6: item与pipeline
2024-09-26 18:36:18
目的:提取内容进行格式化输出,类似于字典
编写item文件
class JobBoleArticleItem(scrapy.Item):
title = scrapy.Field() #支持传进任何数据类型
date = scrapy.Field()
praise_num = scrapy.Field()
content = scrapy.Field()
爬虫文件中引入item类
from Redbacktest.items import JobBoleArticleItem #按需更改
实例化
def parse_detail(self,response):
article_item = JobBoleArticleItem()
传值
article_item["title"] = title
article_item["date"] = date
article_item['praise_num'] = praise_num
article_item["content"] = content
yield article_item #item传递到pipeline中
修改setting文件使item_pipeline生效
ITEM_PIPELINES = {
'Redbacktest.pipelines.RedbacktestPipeline': 300,
}
pipeline调试
最新文章
- 论C#未来发展
- Linux 之 最常用的20条命令
- Lisp与JAVA的酷毙结合——abcl
- 设置repeater每行多少个的方法
- C# Dictionary的xml序列化
- Mysql优化相关总结
- Web —— 小技巧集
- SQL Server DBA三十问【转】
- Xcode调试之查看变量
- js日期倒计时效果
- HTTP / 1.1 RFC from W3C
- 错误代码: 1381 You are not using binary logging
- PyTorch官方中文文档:torch.optim
- Linux入门:增加用户,并赋予权限
- Schlumberger Petrel 2016.3 地震解释 油藏模拟
- nGrinder TestRunnerBarrier.groovy / jihedian
- sort+uniq
- Chrome插件消息传递实例
- centos7 启动mysql
- Vue 使用中的小技巧