python实现scrapy爬取图片到本地时的sha1摘要算法文件名

2017-03-29

Scrapy爬图片到本地应该会给图片自动生成sha1摘要算法文件名，我第一次用scrapy也不清楚太多，就在程序里自己写了一段实现这一功能的代码。需import hashlib

# 存储所有图片链接image_urls

item["image_urls"] = ['http://www.nosta.gov.cn/upload/2017slgb'+i.replace('..', '') for i in response.xpath('//img[@width="840px"]/@src').extract()]

# 存储所有图片本地地址和图片名（列表中存存字典）images

s = hashlib.sha1()

item["images"] = []

for i in item["image_urls"]:

dict1 = {}

dict1["url"] = i

s.update(i)

dict1["path"] = s.hexdigest() + ".jpg"

item["images"].append(dict2)

其实主要核心是下面这段

import hashlib

sha1 = hashlib.sha1()

sha1.update('自定义内容')print sha1.hexdigest()

巴特西

python实现scrapy爬取图片到本地时的sha1摘要算法文件名

最新文章

热门文章