from scrapy.pipelines.images import ImagesPipeline

from scrapy.exceptions import DropItem

import re

import scrapy

class SaveImagePipeline(ImagesPipeline):
　　
　　# 使用这个类,运行的第一个函数是这个get_media_requestsdef get_media_requests(self, item, info):# 下载图片，如果传过来的是集合需要循环下载

        # meta里面的数据是从spider获取，然后通过meta传递给下面方法：file_path

        # yield Request(url=item['url'],meta={'name':item['title']})

　　　　 # 这是我自己改的,根据yield给的tag和img_url切割得到一个图片名,传递给下一个函数

        name = item['tag'] + item['img_url'].split('/')[-1]

        yield scrapy.Request(url=item['img_url'], meta={'name':name})

　　# 第三个运行函数,判断有没有保存成功 ,我该写了没有保存成功者保存在本地文件中,以后进行抓取

    def item_completed(self, results, item, info):

        # 是一个元组，第一个元素是布尔值表示是否成功

        if not results[0][0]:

　　　　　　with open('img_error.txt', 'a')as f:
　　　　　　　　

　　　　　　　　 error = str(item['tag']+' '+item['img_url'])

    　　　　　　f.write(error)
    　　　　　　f.write('\n')

　　　　　　　　 raise DropItem('下载失败') 
　　　　　return item 　

　
　　# 第二个运行函数

    # 重命名，若不重写这函数，图片名为哈希，就是一串乱七八糟的名字

    def file_path(self, request, response=None, info=None):

        # 接收上面meta传递过来的图片名称
　　　　 # 我写的图片名

        name = request.meta['name']

        # 根据情况来选择,如果保存图片的名字成一个体系,那么可以使用这个

        image_name = request.url.split('/')[-1]

        # 清洗Windows系统的文件夹非法字符，避免无法创建目录

        folder_strip = re.sub(r'[？\\*|“<>:/]', '', str(name))

        # 分文件夹存储的关键：{0}对应着name；{1}对应着image_guid

        # filename = u'{0}/{1}'.format(folder_strip, image_name)　　　　# 如果有体系,可以使用这个

        filename = u'{0}'.format(folder_strip)

        return filename

　　

IMAGES_STORE = ‘./meizi’            # meizi是放置图片的文件夹,随意设置名字

ITEM_PIPELINES = {

   '爬虫.pipelines.SaveImagePipeline': 300,

}

import user_agent

class Girl13_UA_Middleware(object):

    def process_request(self, request, spider):

        request.headers['User_Agent'] =  user_agent.generate_user_agent()

        referer = request.url

        if referer:

            request.headers['Referer'] = referer