场景

猪肉价格网站：

http://zhujia.zhuwang.cc/

注：

博客：
https://blog.csdn.net/badao_liumang_qizhi

关注公众号
霸道的程序猿
获取编程相关电子书、教程推送与免费下载。

实现

使用谷歌浏览器打开F12，刷新下当前网页，找到Network下的XHR下的Headers，将此信息复制出来。

刷新后会在左边显示请求Json数据的接口

点击左边的接口，右边查看RequestURL,并在新窗口中打开

就可以看到关于猪肉价格的Json数据了

怎样在代码中获取这些Json数据以方便后续的数据分析等那？

新建pig.py

import requests

import json

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}

def get_json(url):

    try:

        response = requests.get(url,headers=headers)

        if response.status_code == :

            json_text=response.json()

            return json_text

    except Exception:

        print('获取json接口有问题！')

        return None

json_data = get_json('http://zhujia.zhuwang.cc/index/api/chartData?areaId=370000&aa=1573300145544')

# 将dict格式数据转换成json格式字符串

dump_data = json.dumps(json_data)

# 将json格式字符串转换成对应的python值

load_data = json.loads(dump_data)

# 打印转换结果

print(type(json_data))

print(type(dump_data))

print(type(load_data),load_data)

其中headers就是上面在浏览器中复制出来的headers。

运行结果

巴特西

Python爬取猪肉价格网并获取Json数据

场景

实现

最新文章

热门文章