# 需要的库

import requests

from lxml import etree

from multiprocessing import Pool

import os

# 请求头

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

# 创建存储路径

pathname = './全书网/'

if not os.path.exists(pathname):

    os.mkdir(pathname)

# 获取书籍列表

def get_booklist(url):

    try:

        response = requests.get(url=url,headers=headers)

        etrees = etree.HTML(response.text)

        sum = etrees.xpath('//a[@class="last"]/text()')[0]

        booklist = etrees.xpath('//ul[@class="seeWell cf"]/li')

        book_list = []

        for books in booklist:

            book = books.xpath('./a/@href')[0]

            book_list.append(book)

        pool.map(get_book,book_list)

        urls = ['http://www.quanshuwang.com/list/3_{}.html'.format(i) for i in range(2,int(sum)+1)]

        pool.map(get_booklist,urls)

    except Exception:

        print('get_booklist failed')

# 获取具体书籍

def get_book(url):

    try:

        response = requests.get(url=url, headers=headers)

        etrees = etree.HTML(response.content.decode("gb18030"))

        book_name = etrees.xpath('//div[@class="b-info"]/h1/text()')[0]

        if os.path.exists(pathname+book_name+'.txt'):

            print(book_name+'.书籍已存在，如需重新下载请删除原文件')

            return None

        book = etrees.xpath('//div[@class="b-oper"]/a/@href')[0]

        get_mulu(book)

    except Exception:

        print('get_book failed')

# 获取书籍目录

def get_mulu(url):

    try:

        response = requests.get(url=url, headers=headers)

        etrees = etree.HTML(response.text)

        book = etrees.xpath('//div[@class="clearfix dirconone"]/li')

        for i in book:

            book = i.xpath('./a/@href')[0]

            get_content(book)

    except Exception:

        print('get_mulu failed')

# 获取并写入书籍内容

def get_content(url):

    try:

        response = requests.get(url=url, headers=headers)

        etrees = etree.HTML(response.content.decode("gb18030"))

        title = etrees.xpath('//a[@class="article_title"]/text()')[0]

        zhangjie = etrees.xpath('//strong[@class="l jieqi_title"]/text()')[0]

        contents = etrees.xpath('//div[@class="mainContenr"]/text()')

        content = ''.join(contents)

        with open(pathname+title+'.txt','a+',encoding='utf-8') as f:

            f.write(zhangjie+'\n\n'+content+'\n\n')

        print('正在下载：',zhangjie)

    except Exception:

        print('get_content failed')

# 程序入口

if __name__ == '__main__':

    url = 'http://www.quanshuwang.com/list/3_1.html'

    # 创建进程池

    pool = Pool()

    # 启动程序

    get_booklist(url)

正在下载： 章 节目录 第三十四章 不眠的天堂

正在下载： 章 节目录 第四十四章 :耳光

正在下载： 章 节目录 第046章 找到变异元晶

正在下载： 章节目录 第二十八章 修路优惠

正在下载： 章 节目录 第四十五章 :憋屈

正在下载： 章 节目录 第047章 至宝得手

正在下载： 章节目录 第二十九章 猜鱼

正在下载： 章 节目录 第048章 凤凰涅槃，浴火重生。

正在下载： 章节目录 第三十章 养猪场

正在下载： 章 节目录 第四十六章 :酣畅淋漓

正在下载： 章 节目录 第049章 上等天赋资质

正在下载： 章节目录 第三十一章 上鬼身

正在下载： 章 节目录 第050章 元力神兵

正在下载： 章 节目录 第四十七章 :舵主之位

正在下载： 章 节目录 第三十五章 黑暗

正在下载： 章节目录 第三十二章 吓死马有钱

正在下载： 章 节目录 第三十六章 商议

正在下载： 章 节目录 第051章 天级上品龙隐术

正在下载： 章 节目录 第三十七章 寻觅

正在下载： 章节目录 第三十三章 再遇李三

正在下载： 章节目录 第三十四章 借了一百万