CentOS部署pyspider

0x00 环境

阿里云ECS云服务器

CPU：1核

内存：2G

操作系统：Centos 7.3 x64

地域：华北 2（华北 2 可用区 A）

系统盘：40G

0x01 安装依赖

yum install gcc gcc-c++ python-pip python-devel python-distribute libxml2 libxml2-devel python-lxml libxslt libxslt-devel openssl openssl-devel

0x02 升级 pip

pip install --upgrade pip

0x03 用 pip 安装 pyspider

pip install pyspider

0x04 安装 mysql

mysql安装及配置过程可以查看

nginx + php + mysql + wordpress 搭建简单站点安装及配置过程

0x05 安装 redis 并启动

yum install redis

pip install redis

systemctl start redis

0x06 安装 mysql-connector

pip install mysql-connector

0x07 编辑 pyspider 配置文件

vim /etc/pyspider/pyspider.conf.json

内容如下

其中mysqlUser为mysql用户名，mysqlPasswd为mysql密码，webuiUser为登录控制台的用户名，webuiPasswd为登陆控制台的密码

{

  "taskdb": "mysql+taskdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/taskdb",

  "projectdb": "mysql+projectdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/projectdb",

  "resultdb": "mysql+resultdb://mysqlUser:mysqlPasswd@127.0.0.1:3306/resultdb",

  "message_queue": "redis://127.0.0.1:6379/db",

  "webui": {

    "username": "webuiuser",

    "password": "webuipasswd",

    "need-auth": true

  }

}

0x08 启动 pysqpider

pyspider -c /etc/pyspider/pyspider.conf.json

后台运行

nohup pyspider -c /etc/pyspider/pyspider.conf.json &

也可以将以上命令写进bashrc里，直接使用pyspider命令在后台启动

vim .bashrc

添加如下内容

alias pyspider = 'nohup pyspider -c /etc/pyspider/pyspider.conf.json &'

0x09 访问控制台

地址:5000

巴特西