本文所有教程及源码、软件仅为技术研究。不涉及计算机信息系统功能的删除、修改、增加、干扰,更不会影响计算机信息系统的正常运行。不得将代码用于非法用途,如侵立删!

Python 懂车帝全车系销量排行榜

需求

车系ID   城市 时间段    车系名称   销量
4363 深圳 2022年2月 Model Y 1,224
分城市榜单,所有城市热销榜,拉到底部获取全部车系数据

操作环境

  • win10
  • Google nexus5x(root)
  • Python3.9
  • Charles

需求分析

既然需要所有城市的热销榜,那么第一步需要先拿到全国城市列表

先来web端试下能否找到需要的数据接口,打开页面F12查看Network



根据页面关键词搜索没有找到明显的数据接口,虽然说现在也可以使用request或者selenium直接在页面解析数据,但是毕竟这不是首选方案,还是从APP分析一下在决定用什么方案。

PS:手机环境、抓包环境的配置在这不在赘述,有兴趣的可参考之前的文章 APP抓包环境配置

下载懂车帝APP,并安装至手机



手机开启Postern,pc打开charles

至此抓包工作准备完成,打开懂车帝APP,进入选择城市页面



还是老套路先根据页面关键词搜索一波



竟然没有需要的数据!不着急,多试几次,确定Charles抓到了所有的数据包,然后逐条分析一下,找到下图这个接口,看路径名猜测应该就是需要的数据接口,原来数据中中文经过了编码,难怪搜索不到,在线json解析看一下

分享一个常用的json数据在线解析网站



正是所需数据

全国城市列表接口:

https://********?iid=2467735824764398&device_id=40011211486215&ac=wifi&channel=dcd-yd-11zh-and-74&aid=36&app_name=automobile&version_code=693&version_name=6.9.3&device_platform=android&os=android&ab_client=a1%2Cc2%2Ce1%2Cf2%2Cg2%2Cf7&ab_group=3167590%2C3577236%2C3333988&ssmix=a&device_type=Nexus+5X&device_brand=google&language=zh&os_api=27&os_version=8.1.0&manifest_version_code=693&resolution=1080*1794&dpi=420&update_version_code=6931&_rticket=1649079408626&cdid=f3163204-7faf-45d7-89c4-e82215c3216c&city_name=%E8%81%8A%E5%9F%8E&gps_city_name=%E8%81%8A%E5%9F%8E&selected_city_name&rom_version=27&longi_lati_type=1&longi_lati_time=1649079423941&content_sort_mode=0&total_memory=1.77&cpu_name=Qualcomm+Technologies%2C+Inc+MSM8992&overall_score=4.873&cpu_score=4.8872&host_abi=armeabi-v7a

对!你没看错,就是这么长,验证一下数据接口,在网页中直接请求一下这个url



这儿推荐安装一个网页json可视化的插件,这儿偷懒没装,在线解析了一下json数据,和Charles抓到的数据是一样

城市热销榜数据接口就比较简单了,使用上面的方法很容易就能抓到数据接口,修改city_name参数和offset翻页即可

https:/******?city_name=%E8%A5%BF%E5%AE%89&count=10&offset=10&month=&new_energy_type=&
rank_data_type=64&brand_id=&price=&manufacturer=&outter_detail_type=&nation=0

获取全国城市列表

直接请求接口获取即可,这边使用了一个jsonpath模块用来提取json数据,很好用强烈推荐!

def get_month(self):
"""
获取城市列表
"""
response = self._parse_url(url).json()
# 提取json数据中所有的城市名
models = jsonpath(response, '$..city_name')
return models

获取指定城市热销榜

def get_score(self, city_name):
"""
获取指定城市热销榜
city_name: 城市名
"""
offset = 0
while True:
response = self._parse_url(url).json()
tag_list = response.get('data').get('list')
# 没有数据跳出
if not tag_list:
return
for tag in tag_list:
series_id = tag.get('series_id') # 车系ID
series_name = tag.get('series_name') # 车系名称
count = tag.get('count') # 车系销量
yield series_id, series_name, count
# 翻页参数
offset += 100

运行效果

资源下载

https://download.csdn.net/download/qq_38154948/85077866


本文仅供学习交流使用,如侵立删!

最新文章

  1. Segment set
  2. [转载]JavaEE学习篇之——JDBC详解
  3. Oracle序列和索引
  4. UIImageView的图片居中问题
  5. ua实现类似 www.taobao.com 在手机上打开自动转变为 m.taobao.com 的域名转换
  6. KEEPALIVED 检测RS原理
  7. MVC 增加统一异常处理机制
  8. hdu-5082
  9. 【源代码】LinkedHashMap源代码剖析
  10. idea 新建的xml文件显示为文本问题
  11. bootstrap学习: 基本组件以及布局;
  12. 分页查询最好加排序(order by)
  13. BrowserSync前端同步测试工具
  14. 在命令行上 Ubuntu 下使用 mutt 和 msmtp 发送 Gmail 邮件
  15. style="width:100px" 和width=100 异同
  16. (转)linux下vi命令修改文件及保存的使用方法
  17. java反射-获取方法信息
  18. Python 算法(1) 快速排序
  19. 源码安装GCC-4.9.2
  20. qt 把整形数据转换成固定长度字符串(转)

热门文章

  1. 【WPF】WPF开发用户控件、用户控件属性依赖DependencyProperty实现双向绑定、以及自定义实现Command双向绑定功能演示
  2. 142_Power BI之同比预测
  3. Unity实现”对象池管理器“
  4. 利用Github Action实现Tornadofx/JavaFx打包
  5. SAP 下拉框(选择屏幕)
  6. Linux 文件的打包压缩
  7. C4C中更方便的消息管理
  8. Java数组和Arrays 类
  9. 数据结构-查找-二叉排序查找(平衡二叉树,B树,B+树概念)
  10. 静态同步方法和解决线程安全问题_Lock锁