import pymysql

#创建链接对象

connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python')

#创建游标 游标用来进行查询，修改等操作

cursor = connection.cursor()

#定义sql语句 这里的sql语法根据使用的数据库不同会有一些小差别

sql = "SELECT * FROM python.text_info where text_title='test'"

#执行sql语句 返回受到影响的行数

cursor.execute(sql)

#获取sql语句执行后的返回数据 默认返回的数据类型为元组

#获取所有返回

r = cursor.fetchall()

#获取一个返回

r = cursor.fetchone()

#获取至多三个返回 不足三个时返回所有

r = cursor.fetchmany(3)

#其他的fetch方法可自行百度

#将返回数据类型改为字典

cursor = connection.cursor(cursor=pymysql.cursors.DictCursor)

#或者在创建连接对象时指定返回数据类型为字典 建议把返回类型修改为字典类型

connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python', cursorclass=pymysql.cursors.DictCursor)

#保存所做的修改 在连接关闭之前，如果你没有调用下面的语句

#那么，你之前的所有修改将不会被保存

connection.commit()

#关闭游标

cursor.close()

#关闭连接

connection.close()

import scrapy

class TextInfoItem(scrapy.Item):

    # name = scrapy.Field()

    text_name = scrapy.Field()

    text_author = scrapy.Field()

    text_type = scrapy.Field()

    text_status = scrapy.Field()

    text_latest = scrapy.Field()

    text_intro = scrapy.Field()

最后信息是要储存到数据库里的，所以我们还得创建一个数据库表。

• 第一步：在开始菜单里找到MySQL Workbench，双击打开。MySQL Workbench是MySQL自带的一个可视化管理工具
• 第二步：在 MySQL Workbench里连接数据库，并创建一个数据库 python，然后再在刚刚创建的数据库里创建一个表 text_info
• 第三步：在 text_info表里逐一添加 text_name，text_author 等属性，类型全部设置为 varchar，大小除了 text_intro是 1000外，其他的全部设置为 50

MySQL的使用就不详细讲了。如果遇到问题，欢迎评论留言。

二、爬取信息

为了简单，我们只爬取 50zw网站下的玄幻分类的小说信息。

代码：

import scrapy

from text_info.items import TextInfoItem

class A50zwSpider(scrapy.Spider):

    name = '50zw'

    allowed_domains = ['m.50zw.la']

    start_urls = ['http://m.50zw.la/wapsort/1_1.html']

    #主站链接 用来拼接

    base_site = 'http://m.50zw.la'

    def parse(self, response):

        book_urls = response.xpath('//table[@class="list-item"]//a/@href').extract()

        for book_url in book_urls:

            url = self.base_site + book_url

            yield scrapy.Request(url, callback=self.getInfo)

        #获取下一页

        next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]

        yield scrapy.Request(next_page_url, callback=self.parse)

    def getInfo(self, response):

        item = TextInfoItem()

        #提取信息

        item['text_id'] = response.url.split('_')[1].replace('/', '')

        item['text_name'] = response.xpath('//table[1]//p/strong/text()').extract()[0]

        item['text_author'] = response.xpath('//table[1]//p/a/text()').extract()[0]

        item['text_type'] = response.xpath('//table[1]//p/a/text()').extract()[1]

        item['text_status'] = response.xpath('//table[1]//p/text()').extract()[2][3:]

        item['text_latest'] = response.xpath('//table[1]//p[5]/text()').extract()[0][3:]

        item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0]

        yield item

【主】这里我们通过 yield 来发起一个请求，并通过 callback 参数为这个请求添加回调函数，在请求完成之后会将响应作为参数传递给回调函数。

scrapy框架会根据 yield 返回的实例类型来执行不同的操作：

a. 如果是 scrapy.Request 对象，scrapy框架会去获得该对象指向的链接并在请求完成后调用该对象的回调函数。

for book_url in book_urls:

        url = self.base_site + book_url

        yield scrapy.Request(url, callback=self.getInfo)

这里我们在循环里不断提取小说详细页面的链接，并通过 yield 来发起请求，并且还将函数 getInfo 作为回调函数来从响应中提取所需的数据。

第二个地方是：

#获取下一页

next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]

yield scrapy.Request(next_page_url, callback=self.parse)

def getInfo(self, response):

        item = TextInfoItem()

        ... ...

        item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0]

        yield item

import pymysql

class TextInfoPipeline(object):

    def __init__(self):

        #建立数据库连接

        self.connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='python',charset='utf8')

        #创建操作游标

        self.cursor = self.connection.cursor()

    def process_item(self, item, spider):

        #定义sql语句

        sql = "INSERT INTO `python`.`text_info` (`text_id`, `text_name`, `text_author`, `text_type`, `text_status`, `text_latest`, `text_intro`) VALUES ('"+item['text_id']+"', '"+item['text_name']+"', '"+item['text_author']+"', '"+item['text_type']+"', '"+item['text_status']+"', '"+item['text_latest']+"', '"+item['text_intro']+"');"

        #执行sql语句

        self.cursor.execute(sql)

        #保存修改

        self.connection.commit()

        return item

    def __del__(self):

        #关闭操作游标

        self.cursor.close()

        #关闭数据库连接

        self.connection.close()

==========yield解析2===========

def fab(max):

   n, a, b = 0, 0, 1

   while n < max:

      # print b

      yield b

      # print b

      a, b = b, a + b

      n = n + 1

print(fab(5))  # 输出：<generator object fab at 0x00000000069D8A68>

for n in fab(5):

    print n    # 依次1,1,2,3,5

#对于含有yield的函数，外部要以迭代的方式调用，当函数执行结束时，generator 自动抛出 StopIteration 异常，表示迭代完成。

# 在 for 循环里，无需处理 StopIteration 异常，循环会正常结束。

def ff(max):

   a,b = 0,1

   yield max  # yield不在循环中，这里已经到函数最后所以直接返回，相当于return

for n in ff(5):

   print n    # 输出：5

def parse(self, response):

    # 具体处理逻辑：如，分析页面，找到页面中符合规则的内容（校花图片），保存

    hxs = HtmlXPathSelector(response)  # 创建查询对象

    # 获取所有的url，继续访问，并在其中寻找相同的url

    all_urls = hxs.select('//a/@href').extract()

    for url in all_urls:

        if url.startswith('http://www.xiaohuar.com/list-1-'):

            yield Request(url, callback=self.parse)  # 递归的找下去

            print(url)

# Scrapy框架开始执行spider，即是对parse()方法迭代的过程{for n in parse(self, response)}，

# 首先程序会将第一个response对象分析提取需要的东西，然后提取该response中所有的urls进行循环处理

# 对urls循环处理过程中，首次执行到parse-for-yield处，会返回一个迭代值，即生成一个Request1 对象(其中定义了回调方法为parse)；

# 此时，第一次迭代结束。

        # 第一次迭代过程中生成的Request1对象，即一个新的url请求，会返回一个新的response，然后框架会使用该response执行回调函数，进行另一个分支的迭代处理

# 分支迭代的程序处理完成，进行第二次迭代，会从yield的下一条语句开始，即print，然后继续执行for循环，最后执行到yield，又会生

# 成一个request2 对象，

        # 生成request2 对象，相当于又开始了一个新的分支，这个分支处理完后返回一个对象后开始回到主程序

# 接下来，开始第三次迭代，又从yield后面的print开始执行.....

# 最终，直到循环结束。