向spider中传递参数
2024-08-28 10:46:16
1.这里采用run.py脚本方式
# 通过CrawlerProcess同时运行几个spider
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from spiders.test import TestSpider name = '小明'
process = CrawlerProcess(get_project_settings())
process.crawl(TestSpider,name) # 注意引入
process.start()
2.修改spider的初始化函数test.py
class TestSpider(scrapy.Spider):
def __init__(self,name):
self.urls ='https://www.xxxxxx.com/actor=%s&page=1'%(name)
3.运行可得self.urls的值为:
最新文章
- OpenCV二值图像孔洞填充的一个简单方法
- IOS开发基础知识--碎片27
- python:mysql+pycharm+Django环境搭建
- 负载均衡下的资源文件配置/多站点下的资源文件夹共享(Windows IIS)
- Loadrunner中参数化实战(9)-Unique+Once
- Openstack Neutron L2 Population
- PTA List Components
- springboot pom 引用集合
- Android开发中Handler的经典总结--转载至网络
- Visual Studio项目模板与向导开发
- Django学习(八)---修改文章和添加文章
- CDQ分治与整体二分小结
- CSS3中nth-of-type和nth-last-of-type
- 什么是HTML?HTML5是什么?HTML5有那些优势和特性?
- 刷题upupup【Java中HashMap、HashSet用法总结】
- 【教程】Win7-64位安装OpenSSL详细过程
- flutter stack
- sql语句查询结果合并union all用法
- 创建一个Scalar-valued Function函数来实现LastIndexOf
- Python3网络爬虫(1):利用urllib进行简单的网页抓取