python爬虫爬取赶集网数据
2024-10-15 17:01:38
一.创建项目
scrapy startproject putu
二.创建spider文件
scrapy genspider patubole patubole.com
三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的
以下代码是最终的代码
所建的patubole.py文件必须实现name,parse函数，start_url这三个属性
四.将爬取的数据保存到数据库sufang中。
（1）在pycharm中新建数据库
完成后会出现
（2）将数据存放在新建的数据库zufang的数据表sufang中
数据的爬取是有patubole.py实现的，数据的存储是由pipelines.py实现的，pipelines.py又是有items.py提供数据的支持
所以编写items.py
此时就要回过头来修改刚开是为了测试编写的patubole.py 文件
代码如下
3）在settings.py中进行PatuPipeline文件配置
ITEM_PIPELINES = {
'patu.pipelines.PatuPipeline': 300,
}
（5）pipelines.py文件代码，实现存储数据到数据库中
其中包含SQL的相关知识
最终结果
其中main.py文件是为了调式方便而添加的，可以不用，直接用相关命令启动爬虫
最新文章
- C#高级编程笔记 2016年10月26日 MVC入门 Controller
- Selenium2+python 常用函数汇总
- [Linux监控]磁盘空间大小
- String是引用类型
- JQuery asp.net 简单入门
- linux tar 命令 --致力于“一眼看懂，随手就用”的随笔
- linux ln命令 创建链接（快捷方式）
- PHP Fatal error: Cannot pass parameter 2 by reference
- Java中this和super的用法总结
- jq hide show
- 读《图解HTTP》有感-（与HTTP协作的WEB服务器）
- 【.NET Core项目实战-统一认证平台】第九章 授权篇-使用Dapper持久化IdentityServer4
- 驱动调试(一)-printk
- PDF 补丁丁 0.6.0.3369 版发布（修复保存文件时文件名替代符失效的问题）
- RESTful API单元测试（十九）
- scale.fix.js
- 使用 properties 配置文件装配 bean 的方式
- Netty高性能之Reactor线程模型
- 微服务之springCloud和docker-provide(二)
- 关于Behold the Kickmen （球员登场）