20行python代码，轻松获取各路小说，非常简单

哔哔两句

作为现代青年，我相信应该没几个没看过小说的吧，嘿嘿~

一般来说咱们书荒的时候怎么办？自然是去起某点排行榜先找到小说名字，然后再找度娘一搜，哎，笔趣阁就出来答案了，美滋滋~
但是那多麻烦，咱们用 python 直接全部下载下来慢慢看不就好了~
小孩子才做选择，成年人选择都要…

好了，不啰嗦了，等下大家要骂我了~

准备工作

环境模块

咱们没装软件的装一下软件，没装模块的装一下模块，软件我就不讲了。

模块咱们用到的是这两个模块，需要安装一下。

requests   # 发送请求

re     # 正则表达式模块

pip install 模块名安装即可，不会的可以看我主页置顶文章，有针对完全不会的兄弟专门写的教程，Python/pycharm安装包及视频教程主页左侧有

目标地址

https://read.这里qi大家自己dian一下.com/chapter/3i-t4PVRihdwe0zGvdPFgA2/djLVNZuVg7eaGfXRMrUjdw2/

删除中文字体即可，大家可以自己换一下目标，同站即可。

爬虫流程

爬虫的流程基本都是这几步，我这里不详细讲解了，以前的文章有些讲过。

1. 发送请求

2. 获取数据

3. 解析数据

4. 保存数据

用Python带你看遍全网所有小说

完整代码

import requests     # 发送请求

import re

python学习交流群：660193417###

# 伪装

headers = {

    'cookie': '_yep_uuid=b1421b7f-11da-b15f-a3ad-95316478f93c; e1=%7B%22pid%22%3A%22qd_P_read%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A3%7D; e2=%7B%22pid%22%3A%22qd_P_read%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A3%7D; newstatisticUUID=1648708045_1995757040; _csrfToken=mAWbsvESMNwir4NfKBy5fy8RedwvNBabTq3PLx6r; fu=721555856; _gid=GA1.2.1193345906.1648708045; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A18%22%2C%22l1%22%3A3%7D; e2=; qdrs=0%7C3%7C0%7C0%7C1; showSectionCommentGuide=1; qdgd=1; rcr=1031788647%2C1031920667; bc=1031920667%2C1031788647; pageOps=1; lrbc=1031788647%7C686160165%7C0%2C1031920667%7C695153167%7C1; _ga_FZMMH98S83=GS1.1.1648708044.1.1.1648708759.0; _ga_PFYW0QLV3P=GS1.1.1648708044.1.1.1648708759.0; _ga=GA1.2.777546916.1648708045',

    'referer': 'https://book.大家自己改一下，看了准备工作就知道了.com/',

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36',

}

url = 'https://book.大家自己改一下，看了准备工作就知道了.com/info/1031920667/#Catalog'

html_data = requests.get(url=url, headers=headers).text

info_list = re.findall('<h2 class="book_name"><a href="(.*?)" target="_blank" data-eid=".*?" data-cid=".*?" alt=".*?" title=".*?">(.*?)</a></h2>', html_data)

for link, title in info_list:

    link = 'https:' + link

    # print(link, title)

    # 1. 发送请求

    response = requests.get(url=link, headers=headers)

    # 2. 获取数据

    link_data = response.text

    # print(html_data)

    # 3. 解析数据

    # 网页标签 <p></p> <a></a> <div></div> <img />

    # <div class="read-content j_readContent" id=".*?">(.*?)</div>

    text = re.findall('<div class="read-content j_readContent" id=".*?">(.*?)</div>', link_data, re.S)[0]

    text = text.replace('<p>', '\n')

    text = title + '\n\n' + text

    print(text)

    # 4. 保存数据

    with open('网恋女友竟是九天神凰.txt', mode='a', encoding='utf-8') as f:

        f.write(text)

巴特西