用java编写爬虫爬取电影
2024-08-25 05:00:06
一、爬取前提
1)本地安装了mysql数据库
2)安装了idea或者eclipse等开发工具 二、爬取内容
电影名称、电影简介、电影图片、电影下载链接 三、爬取逻辑
1)进入电影网列表页, 针对列表的html内容进行数据提取 电影名称,电影简介, 电影图片, 电影详情URL, 插入数据库表
2)通过步骤1获取到的电影详情URL, 进入电影详情页, 获取下载链接, 更新数据库的下载链接字段
3)循环执行如上过程,直到数据被爬取完或者循环完毕。 三、爬取步骤
1)本地初始化数据库脚本 database.sql
SET FOREIGN_KEY_CHECKS=0; -- ----------------------------
-- Table structure for movie
-- ----------------------------
DROP TABLE IF EXISTS `movie`;
CREATE TABLE `movie` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`title` varchar(100) DEFAULT NULL,
`pic_url` varchar(100) DEFAULT NULL,
`target_url` varchar(100) DEFAULT NULL,
`introduction` varchar(1000) DEFAULT NULL,
`download_url` text,
`create_time` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;
2) 运行 MovieMain.java 函数, 开启爬虫(当前只爬取1000页数据, 总共约10万部电影)
3)查询数据库表, 观察爬取数据清空
select * from movie;
四、github代码地址
https://github.com/mhlmelon/SpiderMovie
五、总结
优点:方便调试
不足:java版本速度较慢(每秒爬10条左右),后续会补上python的版本。
最新文章
- 上传到github!
- fiddler 配置
- JS 复制对象
- Java中的char到底是多少个字节?
- svn不知道这样的主机
- awk 合并文件
- [Tex学习笔记]写文章需要规范、需要引用到位. [LaTeX代码]
- MSTest、NUnit、xUnit.net 属性和断言对照表
- IOS APP上下黑边问题
- C# is as
- .net学习笔记---HttpResponse类
- 30个深度学习库:按Python、C++、Java、JavaScript、R等10种语言分类
- Servlet和JAVA BEAN 分析探讨
- Young不等式的一个新证明
- big_table练习数据表
- MDCC 2014移动开发者大会 小礼品展商活动
- NOIP算法总结与复习
- 使用Docker+Jenkins自动构建部署
- 痞子衡嵌入式:飞思卡尔i.MX RT系列MCU特性介绍(2)- RT1052DVL6性能实测
- vuex最简单、最详细的入门文档