python scrapy解码方法和时间格式转换
2024-08-25 11:38:24
import scrapy
from datetime import datetime class BianSpider(scrapy.Spider):
name = 'bian'
# allowed_domains = ['www']
start_urls = ['http://tech.163.com/special/00097UHL/tech_datalist.js?callback=data_callback'] def parse(self, response):
# print(response.body.decode('gbk'))
import json
---《for i in json.loads(response.body.decode('gbk').strip('data_callback(').strip(')')):》---
print(i['title'])
print(i['label'])
time_list = i['time']
---《print(datetime.strptime(time_list,'%m/%d/%Y %H:%M:%S'))》---
print(','.join([ii['keyname'] for ii in i['keywords']]))
desc_href = i['docurl']
yield scrapy.Request(desc_href,self.show) def show(self,response):
# print(response.xpath('//div[3]/div[2]/div[1]/div[1]//text()'))
types = response.xpath("string(//div[@class='post_crumb'])").extract_first().strip()
weizhi = ' '.join(response.xpath("//div[@class='post_crumb']//text()").extract()).strip() print(weizhi)
print(response.xpath('//*[@id="ne_article_source"]/text()').extract())
print(response.xpath('//*[@id="endText"]/div[2]/span[2]/text()').extract())
最新文章
- Python复习之下划线的含义
- echart饼状图使用,打发时间。
- iOS之 C++与oc混编
- NGUI 界面自适应
- 化繁为简,无需后端。巧用Yql+rss,搭建我的个人网站
- Android放大镜的实现
- 4--OC --合成存取器方法
- Spring aop切面插入事物回滚
- ABP官方文档翻译 3.3 仓储
- BBS论坛(二十七)
- django反向解析传参
- 定时任务Task
- Git——快速安装Git及初始化配置【二】
- [转] 浅谈Trie树(字典树)
- Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
- PHP中的__get()和__set()方法获取设置私有属性
- PAT B1007 素数对猜想 (20 分)
- Java中日期类型和mysql中日期类型进行整合
- MyEclipse+Weblogic+Oracle+PLSQL配置注意事项
- 华为/中兴 3G 语音的调试