celery模块
2024-09-08 13:37:15
Celery
Celery是管理分布式任务队列的工具,其本身并不是任务队列。
Celery常见概念有brokers、backend、workers、tasks。
brokers:中间人,是Celery存放/拿取产品的地方,即任务队列,常见有rabbitmq/redis/zookeeper。
backend:又称result stores,存储运行结果,常见有redis/memcached。
workers:Celery的工作者,从队列中取出任务并执行,将结果发送到backend。
tasks:任务。
简例
# tasks.py
from celery import Celery
app = Celery('tasks',
backend='redis://[host]:6379/0',
broker='amqp://[user]:[password]@[host]:5672')
@app.task
def add(x, y):
return x + y
# 命令行启动worker,此时broker中还没有任务
celery -A tasks worker --loglevel=info
# 向broker发送任务并获取结果
from tasks import add
result = add.delay(2, 3)
while not result.ready():
time.sleep(1)
print(result.get())
>>>: 5
例子中,app就是celery对象,它定义了对象的名称(用于命令行启动),存储者,任务队列。
add方法用app.task包装后,表明此函数为任务执行者。
执行add.delay()方法,参数传入到执行者,并会返回结果,当result.ready()为真时,表明结果已返回至存储者,可通过result.get()获取该结果。
与pika的区别
pika是用来连接rabbitmq的python模块,rabbitmq本身只有存储功能,而没有任务分发调度功能,celery就是用来做任务分配的,当然也可以为pika写一个调度代码,不过有现成的celery,只要用就行了。
最新文章
- 【java开发】方法重写和方法重载概述
- hadoop_elk架构图
- XMPP框架下微信项目总结(3)获取点子名片信息(个人资料)更新电子名片
- 利用Google Speech API实现Speech To Text
- jsp学习(三)
- centos环境源码安装postgresql9.4
- 【Git】Git教程
- oschina 建站系统
- cocos2d-x环境搭建(win7+cocos2d-x-3.0)
- 使用Tomcat-redis-session-manager来实现Tomcat集群部署中的Session共享
- shell脚本中给字符串添加颜色
- ios12更新开发者需要做什么
- 浅析H5图片上传
- 从零开始搭建FAQ引擎--深度语义匹配
- osg探究补充:DatabasePager类简介
- !important的用法
- TensorFlow在windows10上的安装与使用(一)
- 聊聊Postgres中的IPC之SI Message Queue
- RabbitMQ (十六) 消息队列的应用场景 (转)
- [CF730J]Bottles