爬虫框架Scrapy与Web框架Django结合
2024-10-21 03:07:49
在做两者结合之前,需要先准备一个可以独立运行的Scrapy框架和一个可以独立运行的Django框架!
当准备好这两个框架之后,就可以做两者的结合了。
一、
把scrapy框架,移动到Django框架的目录下!( jiqi 是Django、 Seo是Scrapy )
二、
打开scrapy 中的setting.py:
加上:
import os import sys sys.path.append(os.path.dirname(os.path.abspath('.'))) os.environ['DJANGO_SETTINGS_MODULE'] = 'django项目名.settings' import django django.setup()
三、
Scrapy中的.item.py中引入Django模型类
安装命令:pip install scrapy-djangoitem
然后在item中加入Django的模型类:
from scrapy_djangoitem import DjangoItem from app import models class SeoItem (DjangoItem): # 此处必须起名为django_model,主爬虫中使用item['title']=xxx django_model = models.AbckgModel
Django中的模型类(models.py):
四、
在scrapy的 pipelines.py中调用save()
class SeoPipeline(object): def process_item(self, item, spider): # 插入到数据库 item.save() return item #将item传给下一个管道继续处理
五、启动爬虫:
scrapy crawl seo
六、刷新django-admin后台
好了 ,这样就把scrapy爬取出来的数据,加到了Django_admin后台!
# 注:如有转载,请标明作者出处,谢谢!
最新文章
- iOS,非视图类方法
- java嵌套类
- 【Xamarin报错】visual studio android 模拟器部署卡住
- ubuntu下Tomcat7的安装和配置
- 线性回归的Spark实现 [Linear Regression / Machine Learning / Spark]
- WPF:实现主应用程序单一实例运行方式总结
- Top 10 questions about Java Collections--reference
- php上传图片到server
- 201521123110 《Java程序设计》第9周学习总结
- python安装setup.py问题
- [USACO06JAN]树林The Grove
- java中的标记接口(标签接口)
- gitlab ssh_key
- JavaWeb界面在线配置代码生成器
- Django中使用mysql数据库并使用原生sql语句操作
- 进阶之路(中级篇) - 015 串口控RGB三色灯
- Python——eventlet.websocket
- 现代编译原理--第二章(语法分析之LR(1))
- trace跟踪代码运行
- 循环获取某个class下的多个select的选中值