Python爬虫系列之爬取美团美食板块商家数据（一）
2024-09-24 21:39:16
主要思路
目的：
根据输入的城市名，爬取该城市美团美食板块所有商家的数据。数据包括：
店名、评分、评论数量、均价、地址，
并将这些数据存入Excel中。
最后尝试对爬取到的数据做一个简单的分析。
克服反爬虫：
爬取每页数据后，随机停止一段时间后再爬下一页；
每页使用不同的cookie值。
具体原理：
Chrome打开后看了下xhr。。。
发现直接有接口可以用。
详细的实现过程在个人简介中获取源代码。
开发工具
Python版本：3.5.4
相关模块：
requests模块；
win_unicode_console模块；
openpyxl模块；
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
使用演示
在cmd窗口运行MT_Cate_Spider.py文件即可。
简单分析
其实在码字的时候我临时加的这个部分，原因很简单，我想强调爬虫和数据分析结合的重要性。
利用Excel的数据分析功能简单分析一波吧~~~
用的上海地区的数据。
首先当然是按照评分排个序，然后做成柱状图：
然后是评论数量排个序，做成柱状图：
然后再做点其他有趣的图案：
为了帮助学习Python进步慢的伙伴们，在这里为大家准备了丰富的学习大礼包
OK，That's all!
最新文章
- setTimeout，setInterval原理
- linux pam 控制模式
- 微信小程序事件始末及相关资料整理
- NSNotification系统通知优化
- Java入门到精通——工具篇之Maven概述
- 《OD学hadoop》第一周0626
- jsp引入struts标签，引入自己写的jquery需要注意的问题
- T-SQL索引
- Chrome插件Visual Event查看Dom元素绑定事件的利器
- CJOJ 1943 【重庆八中模拟赛】寻找代表元（二分图最大匹配）
- Apache Spark 2.2.0 中文文档 - 快速入门 | ApacheCN
- VMware网络配置
- 【Teradata】安装SQL Assistant和Administrator 16.20（含查看.net版本）
- 微信开发中网页授权access_token与基础支持的access_token异同 【转载、收藏】
- vue三大框架
- linux shell 语法学习
- Graphviz 环境变量设置
- CUDA C Programming Guide 在线教程学习笔记 Part 7
- AE三维点击查询(3D Identify)的实现(转）
- Java基础教程：网络编程