celery理解

celery是典型的生产者+消费者的模式，生产者生产任务并加入队列中，消费者取出任务消费。多用于处理异步任务或者定时任务。

安装celery+redis

pip install -i https://pypi.douban.com/simple celery

pip install -i https://pypi.douban.com/simple redis

异步任务使用

1.基础使用

新建task.py文件

from celery import Celery

app = Celery('demo', backend='redis://localhost:6379/1', broker='redis://localhost:6379/2')

@app.task

def add(x, y):

    return x + y

此时相当于注册了celery app

在项目文件目录下执行python交互式编程

>>> from task import add

>>> res = add.delay(3,5)

>>> res.ready()

False

>>> res.get()

此处相当于是生产者，生产任务并交给broker

使用add.delay(3,5)异步处理add函数，或者使用add.apply_async((3,5))
res.ready()可以查看任务是否完成
res.get()任务如果完成，可以获得任务返回结果；否则，一直阻塞，直到任务完成，然后返回结果

在项目文件目录下创建worker消费任务

celery -A task worker --loglevel=info

task 为注册celery app的py文件名字
注意celery版本不同命令不同的问题

上面图片config中我们可以看到celery app名称以及broker和backend的设置

并且这里立马消费了我们开始扔进redis的任务，可以回到我们的交互式编程查看结果已经被返回回来

此时我们再扔进一个任务，可以看到结果可以马上返回

>>> res = add.delay(5,6)

>>> res.ready()

True

>>> res.get()

11

>>>

2.使用导入配置文件的方式

新建python包文件目录celery_study

在__init__.py文件中，我们注册celery app

from celery import Celery

app = Celery('demo')

# 通过celery实例获取配置

app.config_from_object('celery_study.celery_config')

新建配置文件celery_config.py

BROKER_URL = 'redis://localhost:6379/1'

CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'

CELERY_TIMEZONE = 'Asia/Shanghai'

CELERY_IMPORTS = (

    'celery_study.task_add'

)

新建task_add.py文件书写需要异步的逻辑

import time

from celery_study import app

@app.task

def add(x, y):

    time.sleep(3)

    return x + y

终端启动我们的worker

celery -A celery_study worker --loglevel=info

同样也可以看到celery正常启动

新建main.py文件并执行

from celery_study import task_add

task_add.add.delay(8, 4)

print('end...')

可以看到控制台输出了end...

在worker终端界面输出了

定时任务

修改celery_config.py

from datetime import timedelta

from celery.schedules import crontab

CELERYBEAT_SCHEDULE = {

    # 每10s执行一次

    'task1': {

        'task': 'celery_study.task_add.add',

        'schedule': timedelta(seconds=10),

        'args': (2, 8)

    },

    # 每天15:00执行

    'task2': {

        'task': 'celery_study.task_add.add',

        'schedule': crontab(hour=15, minute=0),

        'args': (9, 9)

    }

}

添加定时任务

1.分别启动worker和beat

启动worker

celery -A celery_study worker --loglevel=info

启动定时任务配置

celery -A celery_study beat --loglevel=info

2.同时启动worker和beat

celery -A celery_study worker --beat --loglevel=info

巴特西

celery+redis的使用（异步任务、定时任务）

celery理解

安装celery+redis

异步任务使用

1.基础使用

新建task.py文件

在项目文件目录下执行python交互式编程

在项目文件目录下创建worker消费任务

2.使用导入配置文件的方式

新建python包文件目录celery_study

新建配置文件celery_config.py

新建task_add.py文件书写需要异步的逻辑

终端启动我们的worker

新建main.py文件并执行

定时任务

修改celery_config.py

1.分别启动worker和beat

启动worker

启动定时任务配置

2.同时启动worker和beat

最新文章

热门文章