class GnspiderSpider(scrapy.Spider):

 　　name = “gnspider”

 　　#从seed页开始，放入start_urls = []

 　　#seed页很多，则可以在def start_requests(self):重定义scrapy.Request(url)，并返回由其组成的请求列表，即retuen [scrapy.Request(url),scrapy.Request(url),.....]

 　　def parse(self,response):

 　　　　#response是我们需要的网页的响应，我们通过css选择器或者xpath进行定位标签元素，这一步是最关键的，快速定位是必须的

 　　　　 response.css("div.content_list ul li div.dd_bt a::attr(href)").extract()  #由于本科时了解过css，这里二话不说就用cssSelector，extract()是为了提取内容，结束提取则extract(),未结束则接着找标签。

 　　　　response.css("div.left_zw p::text").extract()

 　　　　content_list=response.xpath('//div[@id=\"artibody\"]/p/text()').extract()

 　　　　big_urls=sel.xpath('//div[@id=\"tab01\"]/div/h3/a/@href').extract()　　　　#'http://news.sina.com.cn/guide'

 　　　　big_titles=sel.xpath("//div[@id=\"tab01\"]/div/h3/a/text()").extract()

 　　　　second_urls =sel.xpath('//div[@id=\"tab01\"]/div/ul/li/a/@href').extract()

 　　　　second_titles=sel.xpath('//div[@id=\"tab01\"]/div/ul/li/a/text()').extract()

 　　　　divs = response.xpath("//div[@id='J_ItemList']/div[@class='product']/div")

 　　　　div.xpath("p[@class='productPrice']/em/@title")[0].extract()

 　　　　div.xpath("p[@class='productTitle']/a/@title")[0].extract()

 　　　　div.xpath("p[@class='productTitle']/a/@href")[0].extract()

 　　　　

 　　　　item["SHOP_NAME"] = div.xpath("li[1]/div/a/text()")[0].extract()

 　　　　item["SHOP_URL"] = div.xpath("li[1]/div/a/@href")[0].extract()

 　　　　item["COMPANY_NAME"] = div.xpath("li[3]/div/text()")[0].extract().strip()

 　　　　item["COMPANY_ADDRESS"] = div.xpath("li[4]/div/text()")[0].extract().strip(

 　　　　#对于每个链接进行请求，这里我想强调的是meta这个参数，可以帮助我们将一级页面上爬到的内容传递到二级页面上，通过response.meta这个字典进行传递，非常方便我们对item进行组装

 　　　　for li in lis:

 　　　　　　yield scrapy.Request(li,callback = self.parse_detail,meta={"cate":cate})

 　　def parse_detail(self,response):    #解析二级页面

 　　　　#经常我们爬取的是一个列表

 　　　　str1 = “”.join(lis)     #split方法中不带参数时，表示分割所有换行符、制表符、空格。

 　　　　str1 = replace(" ","").replace("\u3000","")

 　　　　return item

class MyspiderPipeline(object):

　　# def open_spider(self,spider):#针对爬虫

　　# self.f = open('gn.txt','a')

　　# def close_spider(self,spider):

　　# self.f.close()

　　def process_item(self, item, spider):#针对item

　　　　self.f = open(cate[item["CATEGORY"]] + '.txt','a')　　　　#注意文件操作，防止乱码

　　　　line = str(dict(item)["CONTENT"]) + '\n'

　　　　self.f.write(line)

　　　　self.f.close()

　　　　return item