背景

任务:

  视频翻译项目需要在两个服务器上进行通信(国内&海外的阿里服务器)。

  因为python是主语言,选用了Django 来快速部署API。

  注:Django中文文档:https://docs.djangoproject.com/zh-hans/3.0/

啰嗦:

  本地创建项目很轻松,但部署到服务器上困难重重。

  将过程记录下来,一来记录心得和经验,二来帮助后来者,少走弯路。

准备

  • 本地跑通的项目。
  • 一台服务器(阿里云、腾讯云、AWS、Vultr等等)
  • 连接Linux的ssh工具(MobaXterm或xshell 国内服务器都可以,国外建议xshell 更稳定)
  • 百折不挠的精神(非常重要!)

PS:

MobaXterm安装使用详细说明:

https://segmentfault.com/a/1190000000483148

防止SSH断开连接:

https://blog.csdn.net/u014636245/article/details/83855860

环境

  • Local

    • OS:  Windows 10 Pro (64bit)
    • Terminal:  xshell
    • Hosting service: 阿里云
  • Server
    • Ubuntu 18.04
    • root用户下

步骤

  1. Python3 & Pip的安装
  2. 创建Django项目(或者导入)
  3. 安装与配置uWSGI
  4. 安装与配置Nginx

重要提示:以下代码均没有加上sudo,如果有哪里因为权限问题失败了,可以加上sudo再试一下。

-----Python3 与 Pip 的安装-----

更新一下系统(防止有的包找不到)

$ apt-get update
$ apt-get upgrade

安装依赖库

$ apt-get install build-essential libtool
$ apt-get install libpcre3 libpcre3-dev zlib1g-dev openssl

  

安装python3和pip3

$ apt-get install python3.7 
$ apt-get install python3-pip

----创建、启动虚拟环境-----

安装虚拟环境

python3 -m pip install virtualenv

  

创建存放虚拟环境和项目的文件夹 

确保当前目录是root目录

cd ~  

注意分清 : (当前用户家目录) ~ 和 / (系统根目录)的区别。

简单说,cd ~就是各回各家,各找各妈;而/是党,是我们所有人的妈。

$ mkdir -p /root/www/project/env
$ mkdir -p /root/www/project/【ytb_api】

注: -p 递归创建目录,即使上级目录不存在,会按目录层级自动创建目录

【ytb_api】修改为你的项目名

创建虚拟环境 

# virtualenv -p [python3路径] [项目路径]
$ cd /root/www/project/env
$ virtualenv -p /usr/bin/python3 ENV

注:如果不知道python3路径,可以用 which python3

如果不了解虚拟环境的使用,看这两篇文章就够了:

http://kuanghy.github.io/2015/12/04/virtualenv

https://docs.python.org/zh-cn/3/tutorial/venv.html

启动虚拟环境

$ source /root/www/project/env/ENV/bin/activate

命令行的最前面出现(ENV)即代表处于虚拟环境下。

注:

source: 执行文件并从文件中加载变量及函数到执行环境。

-----安装Django 并导入项目-----

安装Django

python3 -m pip install django

注意此处pip前 要加python3 -m 的原因:

直接pip会安装到python2上,需要通过pip去指定安装到Python3.x下

详见文章:https://blog.csdn.net/Cloudox_/article/details/78616378

测试Django项目是否正常

将本地项目文件夹拖拽进www/project/ 目录下。

runserver 运行一下,看看程序是否正常

$ python3 manage.py runserver

有如下显示,说明没问题

Django version 2.2, using settings 'firstpage.settings'
Starting development server at http://127.0.0.1:8000/
Quit the server with CONTROL-C.

-----Uwsgi 安装和配置-----

安装uWSGI服务器

$ python3 -m pip install uwsgi

开启阿里云安全组和防火墙

# 防火墙部分,开启8000端口访问权限
sudo ufw status
sudo ufw allow 8000

阿里云用户需要在控制台打开入方向的8000端口权限。

测试 uwsgi监听端口是否成功 

在项目根目录下,创建一个test.py文件,内容如下

def application(env, start_response):
start_response('200 OK', [('Content-Type','text/html')])
return [b"Hello World"]

运行uWSGI,确保当前工作目录在你创建并安装uwsgi的虚拟环境下:

$ uwsgi --http :8000 --wsgi-file test.py

特别注意:阿里云用户需要提前打开入方向的8000端口权限。
如果默认80端口开,可以将下面的8000端口,改成80端口测试

在地址栏中输入 你的域名:端口号,网页上显示Hello World则表示uWSGI成功运行

同时代表了以下通讯是正常进行的

web client < -- > uWSGI < -- > Python App

  

将Django项目指定给uWSGI

$ uwsgi --http :8000 --wsgi-file /www/project/ytb_api/ytb_api/wsgi.py

如果此处卡住了,看后面的常见问题

外网浏览器访问端口,如果显示出小火箭,说明uWSGI<-->Django通了。

业务部分的包安装:(读者请跳过)

###------业务部分------
# 1、安装oss2
python3 -m pip install oss2 # 2、安装阿里云sdk
python3 -m pip install aliyun-python-sdk-core-v3 # 3、安装youtube-dl
python3 -m pip install youtube-dl # 4、安装依赖
python3 -m pip install six # 5、安装ffmpeg
sudo apt-get install ffmpeg

如果你断开连接,那么服务也终止了,所以需要用配置ini文件来启动uwsgi,这样uwsgi可以后台贮存。

创建uWSGI ini配置文件

本地创建一个uwsgi.ini文件

内容如下(请一定珍惜,因为参考了很多,摸索了很多,踩坑了很多,总结出来的一份配置):

[uwsgi]
### Django-related settings # socket = :8000 # 如果需要配置nginx,则需要此项
http = :8000 # the base directory (full path)
# 项目路径,项目的根目录
chdir = /root/www/project/local_api # Django's wsgi file
# 配置项目路径,项目的所在目录
module = local_api.wsgi # the virtualenv (full path)
# 虚拟环境。注意这里不是env,而是home
home = /root/www/project/env/ENV ### process-related settings # maximum number of worker processes
# 最大进程个数
# 同时启动uwsgi进程的个数,这个进程与nginx中的workers是不一样的,
# uwsgi中的每个进程每次只能处理一个请求(进程越多可以同时处理的请求越多),
# nginx采用的异步非阻塞的方式来处理请求的,每个进程可以接受处理多个请求。
processes = 10
# 每个进程的线程数
threads = 4 # 启动一个主进程来管理其他进程,processes的进程都是这个master进程的子进程,如果kill这个master进程,相当于杀死所有的uwsgi进程
master = true # 允许用内嵌的语言启动线程。这将允许你在app程序中产生一个子线程
enable-threads=true # clear environment on exit
#当服务器退出的时候自动删除unix socket文件status和pid文件
vacuum = true # 设置日志目录
daemonize = /root/www/project/local_api/uwsgi.log # 设置最大日志文件大小
log-maxsize = 5000000 # 设置用于uwsgi包解析的内部缓存区大小为64k。默认是4k。
buffer-size = 32768 # 为每个工作进程设置请求数的上限。当一个工作进程处理的请求数达到这个值,那么该工作进程就会被回收重用(重启)。你可以使用这个选项来默默地对抗内存泄漏
max-requests = 5000 # 通过使用POSIX/UNIX的setrlimit()函数来限制每个uWSGI进程的虚拟内存使用数。这个配置会限制uWSGI的进程占用虚拟内存不超过256M。如果虚拟内存已经达到256M,并继续申请虚拟内存则会使程序报内存错误,本次的http请求将返回500错误。
# limit-as = 256 # 一个请求花费的时间超过了这个harakiri超时时间,那么这个请求都会被丢弃,并且当前处理这个请求的工作进程会被回收再利用(即重启)
http-timeout = 500
harakiri = 500 # uwsgi.pid文件用来重启和停止uwsgi服务
pidfile = %(chdir)/uwsgi/uwsgi.pid

在项目根路径下,新建个uwsgi文件夹(用于存放uwsgi服务的pid文件)

将刚才本地创建的uwsgi.ini拖拽进项目根路径下

目录结构:

文件启动和终止uwsgi

### ------ini运行uwsgi------
# 启动
uwsgi --ini uwsgi.ini # 停止
uwsgi --stop uwsgi/uwsgi.pid

运行成功有此提示:

启动成功会有个uwsgi.log文件,是记录请求的文件。

好了,如果顺利走到这,那么恭喜你。

关于不用Nginx:

由于我只是国内国外各部署一个API用以接收请求,然后之间相互通信,不涉及静态页面,

而且uwsgi服务器性能目前业务就可以满足,所以不上Nginx,但是以后业务量上来了,

Nginx的负载均衡和大并发的异步非阻塞的处理请求,就可能需要了。

如果需要,以后再弄。

常见问题:

(1) 未在Django中未设置设置被允许的域名

DisallowedHost at /
Invalid HTTP_HOST header: ..... You may need to add "你的域名" to ALLOWED_HOSTS  

需要在settings.py中设置被允许的域名字

ALLOWED_HOSTS = ['XXX.XXX.XXX.XXX']

(2) 没有报错,远程就是无法访问

解决方法:
查看防火墙状态

sudo ufw status

开启对应的端口号,如8000端口

sudo ufw allow 8080

其次,查看阿里云安全组设置,是否开启相关的端口号。

小结

  因为公司把这个视频翻译的项目全权交给我,所以一切都是自己摸(踩)索(坑)。

  从调研、选技术路径、测试对比分析、后端功能代码、部署,

  甚至包括运维,一下子学了很多,贼开心。

  下面是此项目的心得:

  1、参考文章的方法

  跟着一个写的比较详细的 靠谱的博客作为主线,跟着一步步走,

  遇到问题再去找别的教程或者去官网查,要多看,博采众长,毕竟博观才能约取。

  2、进一步思考

  每个步骤的含义,每个参数的含义,参数不设置成不成,会有哪些影响,

  为什么要用uwsgi,需不需要弄Nginx等等等等,都是提升能力的好机会。

  3、耐心很重要

  一定要有耐心,新接触一个东西,出各种问题很正常,要耐下心来逐一解决,实在弄不出就请教别人。

  

  谢谢大家,祝各位部署顺利。

参考内容:

官方文档

uwsgi:

https://uwsgi-docs-zh.readthedocs.io/zh_CN/latest/tutorials/Django_and_nginx.html

https://docs.djangoproject.com/zh-hans/3.0/howto/deployment/wsgi/uwsgi/

https://uwsgi-docs.readthedocs.io/en/latest/Options.html

Django:

https://docs.djangoproject.com/zh-hans/3.0/

文章:

https://blog.csdn.net/Lo_Bamboo/article/details/80141880

https://www.chuangzhidou.com/2019/04/02/django-deploy/

https://segmentfault.com/a/1190000014361352

https://www.hongweipeng.com/index.php/archives/1814/

https://blog.csdn.net/zhf0425/article/details/102662417?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2&utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-2

https://zhuanlan.zhihu.com/p/51012932

https://www.cnblogs.com/fnng/p/5268633.html

https://gaussic.github.io/2016/08/03/django-uwsgi-deploy/

https://www.cnblogs.com/zhuminghui/p/9212998.html

https://www.jianshu.com/p/0e85cf58e677

https://zhuanlan.zhihu.com/p/29083368

https://blog.csdn.net/Miss_Audrey/article/details/81874038

https://www.runoob.com/django/django-nginx-uwsgi.html

最新文章

  1. Java全角、半角字符的关系以及转换
  2. 0-1背包问题python解决
  3. 传输层(3)-缓冲区大小及限制、TCP输出
  4. jQuery Pagination分页插件的使用
  5. Spring学习总结(0)——Spring详解
  6. Android实现三级联动下拉框 下拉列表spinner
  7. 程序员必备基础知识:通信协议——Http、TCP、UDP
  8. [置顶] LLVM每日谈之十五 LLVM自带的examples
  9. Azure Messaging-ServiceBus Messaging消息队列技术系列6-消息回执
  10. 从C#到TypeScript - 高级类型
  11. 读书笔记-你不知道的JS中-promise(3)
  12. DirectX:在graph自动连线中加入自定义filter(graph中遍历filter)
  13. 2019 蓝桥杯省赛 A 组模拟赛(一)-忽明忽暗
  14. C#代码总结03---通过获取类型,分类对前台页面的控件进行赋值操作
  15. 【转】Android-Input input&amp;按键布局文件
  16. linux下mysql多实例安装
  17. dev-client.js-配合dev-server.js监听html文件改动也能够触发自动刷新
  18. Java内存模型(二)
  19. 【SpringCloud】Netflix源码解析之Ribbon:负载均衡策略的定义和实现
  20. lua关于参数生命周期的研究

热门文章

  1. 【题解】P2831 愤怒的小鸟 - 状压dp
  2. MergeSort归并排序和利用归并排序计算出数组中的逆序对
  3. Linux系统防火墙相关操作
  4. think--数据库的设置
  5. 15个有趣好玩的linux shell 命令
  6. OpenCV学习(2)——一个简单的例子
  7. ubuntu(物理机)连接ARM开发板
  8. Eureka重点原理解析
  9. 【Linux常见命令】cat命令
  10. 【总结】Centos中,Kerberos安装