python爬虫06取当当网 Top 500 本五星好评书籍
2024-09-02 01:46:37
主要思路
使用 page 变量来实现翻页
我们使用 requests 请求当当网
然后将返回的 HTML 进行正则解析
由于我们暂时还没学到数据库
所以解析完之后就把内容存到文件中
def main(page):
url = 'http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-' + str(page)
html = request_dandan(url)
items = parse_result(html) # 解析过滤我们想要的信息
for item in items:
write_item_to_file(item)
请求当当网
当我们请求成功之后
拿到源代码
def request_dandan(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
except requests.RequestException:
return None
拿到源代码了
就要对其解析
使用正则表达式获取我们想要的关键信息
获取到了之后我们封装一下数据
def parse_result(html):
pattern = re.compile('<li>.*?list_num.*?(\d+).</div>.*?<img src="(.*?)".*?class="name".*?title="(.*?)">.*?class="star">.*?class="tuijian">(.*?)</span>.*?class="publisher_info">.*?target="_blank">(.*?)</a>.*?class="biaosheng">.*?<span>(.*?)</span></div>.*?<p><span\sclass="price_n">¥(.*?)</span>.*?</li>',re.S)
items = re.findall(pattern,html)
for item in items:
yield {
'range': item[0],
'iamge': item[1],
'title': item[2],
'recommend': item[3],
'author': item[4],
'times': item[5],
'price': item[6]
}
打印一下看看结果
for item in items:
print(item)
可以看到这样的数据
现在我们获取的是第 1 页的数据
如何自动获取 25 页 500 条数据呢
来个 for 循环呗
if __name__ == "__main__":
for i in range(1,26):
main(i)
获取完 500 本书的数据之后
存到 book.txt 文件
def write_item_to_file(item):
print('开始写入数据 ====> ' + str(item))
with open('book.txt', 'a', encoding='UTF-8') as f:
f.write(json.dumps(item, ensure_ascii=False) + '\n')
f.close()
完成
项目跑起来
打开我们存储的 book.txt 看
前 500 本书的数据就被我们拿到啦
最新文章
- 日货EmEditor的使用小技巧
- nginx服务器命令
- Mysql学习笔记(附一)
- ubuntu下命令行禁用笔记本触摸板
- Web- HTML网页颜色大全
- chrome跨域配置
- 经Apache将tomcat转用80port这两个域名
- VueJs(3)---V-指令
- IO 多路复用介绍
- NMT 机器翻译
- “using NoSQL” under MySQL
- 04 自学Aruba之定制AC的protal认证登陆页面
- Qsort(c)_Sort(c++)用法
- SSD详解
- 1.2成员变量+类变量+static关键字
- 阿里云被挖矿使用,导致cpu长期处于100%,ddgs进程,xWx3T进程,关于redis密码
- 【代码审计】iZhanCMS_v2.1 前台IndexController.php页面存在SQL注入 漏洞分析
- Imageen 图像切割 (JpegLosslessTrans)
- Team Work Ⅲ
- tapable事件流插件