Celery定时任务

requirements

celery==3.1.25  异步任务
django-celery==3.2.2 定时任务管理包
redis==2.10.6
django-redis-cache==1.7.1 方便配置Redis缓存

配置

1、工程主APP下的__init__.py文件里添加:

from .celery import app as celery_app

__all__ = ['celery_app']

2、工程主APP新建个celery.py文件:

from __future__ import absolute_import
import os
from celery import Celery # set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'dts.settings') from django.conf import settings # noqa app = Celery('dts') # Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS) @app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))

  

启用Celery的定时任务需要设置CELERYBEAT_SCHEDULE 。 

说明:

CELERY_RESULT_SERIALIZER = 'json'为了避免错误:# Refusing to deserialize untrusted content of type pickle (application/x-python-serialize)
CELERY_RESULT_BACKEND: 就是把异步任务放到指定地方,方便后续操作。比如后续取出任务判断是否完成

Celery的定时任务都由celery beat来进行调度。celery beat默认按照settings.py之中的时区时间来调度定时任务。

创建定时任务

一种创建定时任务的方式是配置CELERYBEAT_SCHEDULE:

#每30秒调用task.add
from datetime import timedelta
from celery.schedules import crontab #为了避免该行报错,在该文件添加绝对包含、from __future__ import absolute_import
CELERYBEAT_SCHEDULE = { 'add-every-30-seconds': { 'task': 'tasks.add', 'schedule': timedelta(seconds=30), 'args': (16, 16) },
    'sys_check_unpaid': {
'task': 'dashboard.tasks.mdata_schedule',
'schedule': crontab(minute=0, hour=8, day_of_month=11),
},
}
 #crontab任务
#每周一7:30调用task.add
from celery.schedules import crontab CELERYBEAT_SCHEDULE = {
# Executes every Monday morning at 7:30 A.M
'add-every-monday-morning': {
'task': 'tasks.add',
'schedule': crontab(hour=7, minute=30, day_of_week=1),
'args': (16, 16),
},
}

使用数据库存储定时任务

使用数据库存储定时任务需要设置CELERYBEAT_SCHEDULE如下:

 import datetime
import json
from djcelery import models as celery_models
from django.utils import timezone
#创建任务
def create_task(name, task, task_args, crontab_time):
'''
name # 任务名字
task # 执行的任务 "myapp.tasks.add"
task_args # 任务参数 {"x":1, "Y":1} crontab_time # 定时任务时间 格式:
{
'month_of_year': 9 # 月份
'day_of_month': 5 # 日期
'hour': 01 # 小时
'minute':05 # 分钟
}
''' # task任务, created是否定时创建
task, created = celery_models.PeriodicTask.objects.
get_or_create(name=name,task=task)
# 获取 crontab
crontab = celery_models.CrontabSchedule.objects.
filter(**crontab_time).first()
if crontab is None:
# 如果没有就创建,有的话就继续复用之前的crontab
crontab = celery_models.CrontabSchedule.objects.
create(**crontab_time)
task.crontab = crontab # 设置crontab
task.enabled = True # 开启task
task.kwargs = json.dumps(task_args) # 传入task参数
expiration = timezone.now() + datetime.timedelta(day=1)
task.expires = expiration # 设置任务过期时间为现在时间的一天以后
task.save()
return True
#关闭任务
def disable_task(name):
'''
关闭任务
'''
try:
task = celery_models.PeriodicTask.objects.get(name=name)
task.enabled = False # 设置关闭
task.save()
return True
except celery_models.PeriodicTask.DoesNotExist:
return True

启动beat

执行定时任务时, Celery会通过celery beat进程来完成。Celery beat会保持运行, 一旦到了某一定时任务需要执行时, Celery beat便将其加入到queue中. 不像worker进程, Celery beat只需要一个即可。而且为了避免有重复的任务被发送出去,所以Celery beat仅能有一个。

启动:

python manage.py celery beat --loglevel=info

其实还有一种简单的启动方式worker和beat一起启动:

python manage.py celery worker --loglevel=info --beat

定时删除

由于很多任务都是一次执行完就不需要,留在数据库里就是垃圾数据了有没有办法清除。方法肯定有因为django-celery本身就有定时任务功能我们加个任务就解决了。好我们看代码:在django app目录中打开taske.py加入如下代码

from djcelery import models as celery_models
from django.utils import timezone
@task()
def delete():
'''
删除任务
从models中过滤出过期时间小于现在的时间然后删除
'''
return celery_models.PeriodicTask.objects.filter(
expires__lt=timezone.now()).delete()

创建任务脚本里设置了 expires 1天以后过期,这样在filter的时候就能当做条件把过期的任务找到并且删除。

最新文章

  1. MySQL 分组后,统计记录条数
  2. 在 .NET 4.0 中使用 .NET 4.5 中新增的特性(CallerMemberNameAttribute/CallerFilePathAttribute/CallerLineNumberAttribute)
  3. String、String.valueOf、toString 它们三者的区别总结
  4. Unity3D热更新全书-脚本(四) 用C#LightEvil搭建实际开发使用的脚本框架
  5. C# 形参中有默认值
  6. 2016.03.31,英语,《Vocabulary Builder》Unit 08
  7. 【crunch bang】论坛tint2配置讨论贴
  8. 去掉iphone手机滑动默认行为
  9. static和const关键字的作用
  10. SQL Server 内存不足引起的并发症
  11. (6)简单说说java中的线程
  12. 多源最短路Floyd 算法————matlab实现
  13. chrome调试工具高级不完整使用指南(基础篇)
  14. 了解wireshark
  15. Cocos Creator 按钮音效封装重写
  16. SVN分支与合并【超详细的图文教程】(转载)
  17. jsp相关基础知识
  18. Ubuntu下redis允许外部链接
  19. beta阶段学习博客(一) js交互
  20. tf.nn.sigmoid_cross_entropy_with_logits

热门文章

  1. LeetCode之旅(15)-Odd Even Linked List
  2. SQLSERVER 性能优化之Perfmon指标
  3. Factor Pattern----工厂模式
  4. javascript—Mach的一些常用方法
  5. 初步认识thymeleaf:简单表达式和标签(二)
  6. x&(x-1)
  7. javax.mail
  8. centos 5.3 安装(samba 3.4.4)
  9. 窗口函数解决数据岛问题(mysql暂无窗口函数,可以通过用户变量解决窗口函数问题)
  10. VS 和 VAssistX 常用快捷键