Python 使用BrowserMob Proxy + selenium 获取Ajax加密数据
BrowserMob Proxy,简称 BMP,它是一个 HTTP 代理服务,我们可以利用它截获 HTTP 请求和响应内容。
第一步:先安装 BrowserMob Proxy 的包。
pip install browsermob-proxy
第二步:下载 browsermob-proxy 的二进制文件,用于启动 BrowserMob Proxy。
下载地址:https://github.com/lightbody/browsermob-proxy/releases
第三步:测试。
from browsermobproxy import Server # 启动代理, 修改下载的文件路径
server = Server(r'F:\BrowserMobProxy\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()
print('proxy', proxy.proxy)
注意:若报错,可查看server.log中的信息。如果没有装java,自行百度安装java,配置java环境,cmd输入java和javac测试是否配置成功。
代码走起:
# _*_ coding:utf-8 _*_
import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from browsermobproxy import Server
import time
import json class BaseFramework(object): def __init__(self):
# 修改下载的文件路径
self.server = Server(r'F:\BrowserMobProxy\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
self.server.start()
self.proxy = self.server.create_proxy()
chrome_options = Options()
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--proxy-server={0}'.format(self.proxy.proxy))
chrome_options.add_argument('--headless') # 无头模式
self.browser = webdriver.Chrome(options=chrome_options) def process_request(self, request, response):
pass def process_response(self, response, request):
pass def run(self, func, *args):
self.proxy.new_har(options={
'captureContent': True,
'captureHeaders': True
})
func(*args)
result = self.proxy.har
for entry in result['log']['entries']:
request = entry['request']
response = entry['response']
self.process_request(request, response)
self.process_response(response, request) def __del__(self):
self.proxy.close()
self.browser.close() class Framework(BaseFramework): def load(self, url):
self.browser.get(url)
time.sleep(3) def process_request(self, request, response):
pass def process_response(self, response, request):
# print(request['url'])
# 找到你所需数据的url即可快乐的解析数据了
if '/item/timemap/cn/' in request['url']:
try:
text = response['content']['text']
text_dict = json.loads(text)
data_result = text_dict['data']
except KeyError:
print('----KeyError: text----')
return
name = data_result['name'] # 姓名
id_name = name_id + '_' + name
print(id_name)
time_map_list = data_result['timeMap']
if time_map_list:
time_map_dict = {}
for i in range(len(time_map_list)):
time_map = time_map_list[i]
time_map_dict[str(i)] = time_map
else:
return
path = f'./****/{id_name}.json'
if os.path.exists(path):
print(f'------{id_name}--已存在------')
return
with open(path, 'w', encoding='utf-8') as f:
f.write(json.dumps(time_map_dict, ensure_ascii=False, indent=4)) if __name__ == '__main__':
Framework = Framework()
id_list = ['********']
for name_id in id_list:
url = "************************"
Framework.run(Framework.load, url)
结果如下:
解释解释:
代码一共分了四步:
•第一步便是启动 BrowserMob Proxy,它会在本地启动一个代理服务,这里注意 Server 的第一个参数需要指定 BrowserMob Proxy 的可执行文件路径,这里我就指定了下载下来的 BrowserMob Proxy 的 bin 目录的 browsermob-proxy 的路径。
•第二步便是启动 Selenium 了,它可以设置 Proxy Server 为 BrowserMob Proxy 的地址。
•第三步便是访问页面同时监听结果,这里我们需要调用 new_har 方法,同时指定捕获 Resopnse Body 和 Headers 信息,紧接着调用 Selenium 的 get 方法访问一个页面,这时候浏览器便会加载这个页面,同时所有的请求和响应信息都会被记录到 HAR 中。
•第四步便是读取 HAR 到内容了,我们调用 log 到 entries 字段,里面便包含了请求和响应的具体结果,这样所有的请求和响应信息我们便能获取到了,Ajax 的内容也不在话下。
有了这个我们就不需要非得等页面加载出来之后再根据页面渲染结果提取信息了,Ajax 请求直接拿原始数据,爽歪歪!
最新文章
- Poj2479 &; Poj 2593
- 渣渣小本求职复习之路每天一博客系列——Unix&;Linux入门(5)
- Android HTTP实例 使用GET方法和POST方法发送请求
- 深入浅出ES6(六):解构 Destructuring
- Django中的cookie与session
- (转)JQuery处理json与ajax返回JSON实例
- 浅谈 qmake 之 shadow build(将源码路径和构建路径分开,一套源码要分别用msvc2008、msvc2008、mingw分别编译又不互相干扰)
- Python的加入!
- linux使用LVM合并硬盘
- js中的confirm的运用
- C语言编译过程(转)
- C#净化版WebApi框架
- 最简单的原生js和jquery插件封装
- Vue H5 项目模板
- vue项目tips
- CODEVS 2455 繁忙的都市 SCOI2005(洛谷 P2330)
- 安卓constraintLayout中app:srcCompat设置的图片显示不出来
- Heroku免费版限制
- Form_Form Builder的基本语法(概念)
- 纯js的N级联动列表框 —— 基于jQuery