经人提醒忘记发网址id的爬取过程了,

http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20021300174

AH20021300174为要爬取的内容

现代码如下:

 import json
import requests
import io url="http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.mailList.biz.ext" kv = {
'Host': 'www.beijing.gov.cn',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0',
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Accept-Encoding': 'gzip, deflate',
'Content-Type': 'text/json',
'X-Requested-With': 'XMLHttpRequest',
'Content-Length': '',
'Origin': 'http://www.beijing.gov.cn',
'Connection': 'keep-alive',
'Referer': 'http://www.beijing.gov.cn/hudong/hdjl/'} def page(begin):
query={
'PageCond/begin': begin,
'PageCond/isCount':'true',
'PageCond/length':6,
}
datas=json.dumps(query)
r=requests.post(url,data=datas,headers=kv)
print(r.status_code)
print(r.text)
js=json.loads(r.text)
for j in js["mailList"]:
print(j)
print(j.get("original_id")) def href():
begin=0
for i in range(0,5584):
if i%6==0:
page(i)
#print(begin) if __name__=="__main__":
href()

最新文章

  1. Google Java编程风格指南中文版
  2. hadoop 常见问题
  3. .NET DLL 保护措施应用实例(百度云分享工具)
  4. NET中级课--文件,流,序列化1
  5. Stack栈的三种含义
  6. 关于textarea的应用--onchage,onpropertychange,oninput
  7. jq龙禧轮播图
  8. zipkin+kafka+elasticsearch
  9. 加固后,上传play store, 在 google play store 下载应用安装后,打开签名校验失败
  10. Vue的指令系统、计算属性和表单输入绑定
  11. 简单快速的Android打渠道包的方法
  12. 《修炼之道:.NET开发要点精讲》读书笔记(一)
  13. attr prop jquery关于获取DOM属性值的两个函数
  14. 富文本框vue-quill-editor的使用
  15. k64 datasheet学习笔记3---Chip Configuration之Human machine interfaces
  16. php-编译模块2
  17. App.config使用ASP.NET Web Project的Transformation
  18. zoj1649-Rescue (迷宫最短路径)【bfs 优先队列】
  19. [GIt] 团队工作效率分析工具gitstats
  20. mac 特殊符号的操作

热门文章

  1. 快速幂——while理解&&[P1965] 转圈游戏
  2. 数据库连接池 —— Druid的简单使用
  3. [Python]List 过滤
  4. 洛谷P1157----组合数的输出
  5. Webpack中hash、chunkhash和contenthash三者的区别
  6. Webpack之optimization.splitChunks代码分割插件的配置
  7. 饿了么组件--table组件自定义渲染列,同时伴有v-for和v-if情况
  8. clr via c# 程序集加载和反射(2)
  9. C# 数据类型详解以及变量、对象与内存
  10. leaflet结合geoserver利用WFS服务实现图层删除功能(附源码下载)