JS如何做爬虫
2024-10-20 05:41:10
JS如何做爬虫,JS做爬虫要靠node节点环境,cheerio(主要是解析下载的网页可以像jquery一样,这是必要的,使用它在npm上查看文档也很简单)。 Iconv-lite(主要解决下载资源的乱码问题)。正则表达式(如果是接口数据,则脚本中包含一些关键参数,需要按规律性提取)
然后,某些网页数据实际上是双喜鸟通过ajax提取数据以呈现页面。
首先分析以下接口是使用post方法提交数据的,所有都可以在这里使用request或http.post即可。看参数主要是nonce和xyz这两个字段属于一种加密方式,因此我们需要对其进行加密。然后,我们必须转到源代码以查找信息。通过chrome调试工具,我们可以找到源代码。
因为代码令人困惑,但是这样的传输字段并不令人困惑。首先展开代码,然后按ctrl + f在js文件中搜索关键段随机数。找到它之后,放一个断点并刷新浏览器,看看它是否会对我们执行此验证。
我们只需要查找相应的算法功能以复制到本地,然后在每次请求到达时生成相应的加密密码,以便可以在网站服务器上正确解析该密码。
这里的技巧是根据关键信息找到线索(chrome浏览器位于源调试选项卡下),因为只要它位于事物的前端,它就是透明的。还有一种断点的方法,可让您更快地找到线索。
来自Jsonp的爬行动物数据
数据可能不只是网页。通过Jsonp传输数据时,在这种情况下可以解决使用eval的问题。 Jsonp通过script标签加载js脚本。该脚本将具有一个功能,该功能将在加载脚本时执行。通常将回调参数添加到请求路径。该值是在加载脚本中定义的函数的名称。
最新文章
- Codeforces 723c [贪心][乱搞]
- 初见Gnuplot——时间序列的描述
- Lepus经历收获杂谈(一)——confirm features的小工具
- IOS中一个简单的粒子效果实现
- Cola:一个分布式爬虫框架 - 系统架构 - Python4cn(news, jobs)
- hadoop集群空间使用情况报告脚本
- 六、vue如何缓存页面
- char
- 测试那些事儿—LR脚本插入DOS命令
- Java集合框架学习
- 02-CSS&;JS
- [js]js中4种无节操的预解释情况
- 牛客OI赛制测试赛-序列-模拟
- Linux基础命令---文本编辑sed
- JavaScript 经典笔记
- SaltStack salt 命令
- MVC3 之asp.net 与vb.net 互转练习
- C语言顺序表的实现
- bzoj 2434 AC自动机+树状数组
- 1、量化投资—为什么选择Python?
热门文章
- ES6深入浅出-5 新版对象-1.如何创建对象
- log4j 异常时在日志文件里面显示空的。
- 宣化上人:大佛顶首楞严经四种清净明诲浅释(4-5)(转自学佛网:http://www.xuefo.net/nr/article23/230699.html)
- 报错:(未解决)Opening socket connection to server master/192.168.52.26:2181. Will not attempt to authenticate using SASL (unknown error)
- JAVA协程 纤程 与Quasar 框架
- Docker之使用Docker-compose搭建LNMP环境
- 14、vue-pdf的使用
- 【NER】对命名实体识别(槽位填充)的一些认识
- input回退禁止
- 【转载】jmeter非GUI执行脚本+动态线程+生成HTML报告