ajax的post请求获取kfc官网数据
2024-09-14 18:09:48
# _*_ coding : utf-8 _*_
# @Time : 2021/11/2 13:45
# @Author : 秋泊酱
# 1页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# post
# cname: 北京
# pid:
# pageIndex: 1
# pageSize: 10 # 2页
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# post
# cname: 北京
# pid:
# pageIndex: 2
# pageSize: 10 import urllib.request
import urllib.parse # 1) 请求对象的定制
def create_request(page):
# 请求路径
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname' # 请求参数
data = {
'cname': '北京',
'pid':'',
'pageIndex': page,
'pageSize': '10'
}
# 请求参数编码
# 注意:post请求data字典中的参数进行url拼接,还需要调用encode('utf-8')进行编码
data = urllib.parse.urlencode(data).encode('utf-8') # 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
# 请求对象的定制(url参数传递,headers参数传递,data数据传递)
# post的请求的参数是不会拼接在url的后面的,而是需要放在请求对象定制的data参数中
request = urllib.request.Request(url=base_url, headers=headers, data=data)
# 函数返回
return request # 2) 获取响应的数据
def get_content(request):
# 模拟浏览器B,向服务器S,发送请求
response = urllib.request.urlopen(request)
# 获取响应数据(read读方法返回字节形式二进制数据.decode解密)
content = response.read().decode('utf-8')
# 函数返回
return content
# 3) 下载数据
def down_load(page,content):
# python的字符串拼接,两边都要是str字符串类型
with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8')as fp:
# 向文件中写入
fp.write(content) if __name__ == '__main__':
start_page = int(input('请输入起始页码'))
end_page = int(input('请输入结束页码')) for page in range(start_page, end_page+1):
# 请求对象的定制
request = create_request(page)
# 获取网页源码
content = get_content(request)
# 下载
down_load(page, content)
X-Requested-With用来判断客户端的请求是Ajax请求还是其它请求
if (request.getHeader("x-requested-with") != null
&& request.getHeader("x-requested-with").equalsIgnoreCase("XMLHttpRequest")) {
out.print("该请求是 AJAX 异步HTTP请求。");
}else{
out.print("该请求是传统的 同步HTTP请求。");
}
如果 requestedWith 为 null,则为同步请求。
如果 requestedWith 为 XMLHttpRequest 则为 Ajax 请求。
最新文章
- JavaScript(二) DOM
- SqlServer存储过程模板
- 渗透技术--SQL注入写一句话木马原理
- ONS C++ Windows SDK 调试方法及注意事项
- 构造方法 static 块 {}块 执行顺序
- 解决html中&;nbsp;在不同浏览器中占位大小不统一的问题
- AutoResetEvent 运用
- JavaScript高级程序设计(第三版)第三章 基本概念
- cocos2d-x android 字体的设置
- 安卓AlertDialog的使用
- BNUOJ-26480 Horror List 最短路
- ajax检查用户名
- Linux Shell脚本Ldd命令原理及使用方法
- 高级爬虫工程师(Spider)-美团网-拉勾网-最专业的互联网招聘平台
- BZOJ 1704: [Usaco2007 Mar]Face The Right Way 自动转身机( 贪心 )
- onsite
- href
- 用python做一个搜索引擎(Pylucene)
- Java RSA 公钥加密私钥解密
- kafka原理和实践(三)spring-kafka生产者源码
热门文章
- .Net Core 实现 自定义Http的Range输出实现断点续传或者分段下载
- 数据库的高可用MHA实验步骤
- 树莓派3B搭建NODE-RED运行环境并构建数据流
- dubbo-admin的使用
- linux系统(centos)下su和sudo命令的区别
- Java内存分析--栈--堆
- 初学Python-day11 函数4
- for...in和Object.keys()区别
- Less-(38~41) 堆叠注入
- 【UE4 C++ 基础知识】<;1>; UPROPERTY宏、属性说明符、元数据说明符