使用Docker-compose来封装celery4.1+rabbitmq3.7服务，实现微服务架构

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_115

大家都知道，Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统，在之前的一篇文章中：python3.7+Tornado5.1.1+Celery3.1+Rabbitmq3.7.16实现异步队列任务详细阐述了如何进行安装部署和使用，但是过程太繁琐了，先得安装Erlang，再安装rabbitmq，然后各种配置，最后由于async关键字问题还得去修改三方库的源码，其实我们可以通过docker来将celery服务封装成镜像，如此一来，以后再使用celery或者别的系统依赖celery，我们只需要将该镜像以容器的形式跑服务即可，不需要繁琐的配置与安装。

首先新建celery_with_docker文件夹，cdcelery_with_docker

建立dockerfile文件

FROM python

LABEL author="liuyue"

LABEL purpose = ''

RUN apt update

RUN pip3 install setuptools

ENV PYTHONIOENCODING=utf-8

# Build folder

RUN mkdir -p /deploy/app

WORKDIR /deploy/app

#only copy requirements.txt.  othors will be mounted by -v

#COPY app/requirements.txt /deploy/app/requirements.txt

#RUN pip3 install -r /deploy/app/requirements.txt

RUN pip3 install celery

# run sh. Start processes in docker-compose.yml

#CMD ["/usr/bin/supervisord"]

CMD ["/bin/bash"]

意思是基础镜像我们使用python，然后安装celery

然后新建docker-compose.yml

# Use postgres/example user/password credentials

version: '3.4'

services:

    myrabbit:

        #restart: always

        #build: rabbitmq/

        image: rabbitmq:3-management

        # hostname: rabbit-taiga

        environment:

            RABBITMQ_ERLANG_COOKIE: SWQOKODSQALRPCLNMEQG

            # RABBITMQ_DEFAULT_USER: "guest"

            # RABBITMQ_DEFAULT_PASS: "guest"

            # RABBITMQ_DEFAULT_VHOST: "/"

            # RABBITMQ_NODENAME: taiga

            RABBITMQ_DEFAULT_USER: liuyue

            RABBITMQ_DEFAULT_PASS: liuyue

        ports:

            - "15672:15672"

            # - "5672:5672"

    api:

        #restart: always

        stdin_open: true

        tty: true

        build: ./

        image: celery-with-docker-compose:latest

        volumes:

            - ./app:/deploy/app

        ports:

            - "80:80"

        command: ["/bin/bash"]

    celeryworker:

        image: celery-with-docker-compose:latest

        volumes:

            - ./app:/deploy/app

        command: ['celery', '-A', 'tasks', 'worker', '-c', '4', '--loglevel', 'info']

        depends_on:

            - myrabbit

这个配置文件的作用是，单独拉取rabbitmq镜像，启动rabbitmq服务，用户名和密码为：liuyue:liuyue然后在镜像内新建一个celery工程，目录放在/deploy/app，随后通过挂载文件夹的方式将宿主的app目录映射到/deploy/app,最后启动celery服务

最后，我们只需要在宿主机建立一个app文件夹，新建一些任务脚本即可

新建tasks.py

from celery import Celery

SERVICE_NAME = 'myrabbit'

app = Celery(backend = 'rpc://', broker = 'amqp://liuyue:liuyue@{0}:5672/'.format(SERVICE_NAME))

@app.task

def add(x, y):

    print(123123)

    return x + y

新建任务调用文件test.py

import time

from tasks import add

# celery -A tasks worker -c 4 --loglevel=info

t1 = time.time()

result = add.delay(1, 2)

print(result.get())

print(time.time() - t1)

最后项目的目录结构是这样的

随后在项目根目录执行命令：docker-compose up --force-recreate

此时celery和rabbitmq服务已经启动

进入浏览器http://localhost:15672用账号登录 liuyue:liuyue

没有问题，此时我们进入容器内部

docker exec -i -t celery-with-docker-compose-master_api_1 /bin/bash

可以看到，容器内已经通过挂载将宿主机的app文件夹共享了进来

随后我们执行异步任务：python3 test.py

可以看到执行成功了

由此可知，在宿主机，什么环境都不需要配置，只需要安装一个docker即可，异步任务队列的搭建和执行全部在docker的内部容器内，完全隔绝，只是具体的代码和脚本通过docker的挂载命令来在宿主机编写，也就是研发人员只需要在宿主机专注编写代码，而不需要管配置和部署的问题。

最后，附上项目的完整代码：https://gitee.com/QiHanXiBei/celery-with-docker-composer

原文转载自「刘悦的技术博客」 https://v3u.cn/a_id_115

巴特西

使用Docker-compose来封装celery4.1+rabbitmq3.7服务，实现微服务架构

最新文章

热门文章