java抓取东方财富股票数据(附源码)
2024-08-25 22:15:28
背景
前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错。
这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定。
本来我是一个德艺双磬且与世无争的佛系程序员,小小的激将法怎么会激到我,但在京隔离期间实在太闲,就看了下东方财富的网站。真是不看不知道,一看吓一跳,这网站做的我口吐芬芳。
抓取思路
我们先看下这个网站的资金流向排行榜,里面有各大股市的股票资金数据
炒股(韭菜)的都知道,如果一个股票的净流入大单很多,那说明股票涨,流入越大,涨的越多。所以关注一只股票的资金流向很重要,而东方财富专门有个资金流向的板块给我们提供数据。于是抓取这个页面的资金流向数据就很关键,根据页面源码和抓包分析,进入这个网站时,会分配一个token。而表格中的数据是异步加载的,获取数据的请求中会带着这个token,所以我们第一步要搞定这个token。根据页面中的表格我们可以看到这个页面的数据进行了分页,每页50个,所以在抓取时需要根据分页循环抓取数据,直至尾页。
总结步骤:
获取token
分页抓取
清洗数据
数据入库
数据入库
给大家看看我最近爬下来的数据:
抓取的代码我直接写成了一个定时任务DFCFFundFlowCrawlerJob.java,大家可以直接复制到任何springboot工程中,直接运行就行,太长了,这里就不展示了。
github地址:https://github.com/chinashuai/crawler-stock-data-all
最新文章
- pagebean pagetag java 后台代码实现分页 demo 前台标签分页 后台java分页
- [python]设计模式
- 魅族M8时期写过几个app,纪念一下曾经的自己
- [IOS 开发] 懒加载 (延迟加载) 的基本方式,好处,代码示例
- 求两个集合的交集和并集C#
- JDBC学习2:为什么要写Class.forName(";XXX";)?
- 深入理解javascript函数系列第一篇——函数概述
- CMake入门以及学习笔记
- yii 多表联合查询的几种方法
- jQuery 1.9 .live() is not a function
- [LeetCode]题解(python):035-Search Insert Position
- desin pattern
- web测试方面的知识
- TDD中的单元测试
- Javascript事件绑定及深入
- OC中Foundation框架之NSString、NSMutableString
- 使用axios post 提交数据,后台获取不到提交的数据解决方案
- Find The Multiply
- Docker 控制组
- Ext JS 5初探(一)