使用nginx，uwsgi，supervisor，virtualenv部署flask项目，以及多进程下的一些坑

2020-12-16 16:31:41 编辑 0 阅读量:872

先大致说明一下各个组件的作用：
- nginx: 提供反向代理，做负载均衡，转发动态路由以及直接返回静态资源
- uwsgi： 作为网关服务用来解析http请求，改造为flask可接收的数据格式
- flask： 只是个application而已，没有server的服务特征
- virtualenv： 提供一个虚拟的环境，保证多个flask项目不互相干扰，比如：依赖包版本不一致等等
- supervisor： 一个进程管理器，用来管理uwsgi进程，防止进程意外崩溃

有了这个思路，我们就可以开始配置环境，首先配置好virtualenv

#### 一、 virtualenv
```
$ sudo pip install virtualenv
$ cd /path/to/your/project
$ virtualenv env
$ . env/bin/activate    # 可以在activate文件下添加export FLASK_APP=your_project_file.py等等环境变量
(env) $ pip install uwsgi
(env) $ pip install ... # 安装你项目需要的各种包，记住，如果安装了包，但是在使用中没有该包，可以先退出虚拟环境，然后再重新进入
```

#### 二、uwsgi
先测试一下项目是否OK
```
(env) $ env/bin/uwsgi --http-socket :8082 --wsgi-file your_project_file.py --master --processes 2 --threads 2 --callable your_app_name # 使用虚拟环境中的uwsgi，也可以不加路径；需要改两个参数your_*
```
如果成功的话，访问8082端口是会有输出的，如果OK，就可以进行正式的配置
```
(env) $ vim uwsgi.ini
[uwsgi]
chdir = /path/to/your/project
processes= 2
threads = 4
master = true
max-request = 2000 ;当一个工作进程处理的请求数达到这个值，那么该工作进程就会被回收重用（重启）
enable-threads = true  ; 允许flask工作时自己开线程
callable = your_app_name
socket = /tmp/your_project_name.sock
chmod-socket = 666
virtualenv = %(chdir)/env
wsgi-file = %(chdir)/your_project_file.py
(env) $ uwsgi --ini uwsgi.ini    # 这时候就运行起来了，采用unix domain socket，是效率最高的（比http-socket, socket都高）
```

#### 三、nginx
nginx的安装就不赘述了，在配置中添加如下server

```
server {
    server_name example.com;
    listen 80;
    proxy_set_header X-Forwarded-For $remote_addr;
    proxy_set_header X-real-ip $remote_addr;
    include uwsgi_params;    # 不加这个参数，flask可能会报错
    add_header Access-Control-Allow-Origin *;
    # 后台， 这里sock路径和uwsgi设置的路径一样
	location / {
        uwsgi_pass unix:///tmp/lawplatform.sock;
	}
	# 静态文件, 注意目录的权限
	location /static {
         alias /your/static/path;
     }
}
```

让nginx重新加载配置`$ nginx -s reload`

这个配置可以写到其他文件，然后在nginx.conf中的http层include：
```
http {
    ...
    include conf.d/*.conf;  # server config
}
```

设置好域名之后，这里就可以通过example.com访问你的app了。接下来，配置supervisor，为进程添加一道保护。

#### 四、supervisor
```
$ sudo pip install supervisor   # 不需要在虚拟环境中安装，配置默认在/etc/supervisord.conf
$ sudo vim /etc/supervisord.conf  # 添加如下内容
[program:your_app_name]    ; 最好用你app的名字，更好区分
directory = /path/to/your/project ; 程序的启动目录
command = /path/to/your/project/env/bin/uwsgi --ini configs/uwsgi.ini  ; 这里最好指定绝对路径，保证uwsgi是你虚拟环境中的
# command = /bin/bash -c "source env/bin/activate && uwsgi --ini configs/uwsgi.ini"; 也可以用bash来执行source的命令，然后执行其他命令，推荐使用这种方式，因为环境变量会生效

autostart = true     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出，就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数，默认是 3
user = hadoop          ; 用哪个用户启动
redirect_stderr = true  ; 把 stderr 重定向到 stdout，默认 false
stdout_logfile_maxbytes = 50MB  ; stdout 日志文件大小，默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
environment=TEST='test'  ; 根据自己的需要定义环境变量
; stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile = /var/log/supervisor/your_project_name.log  # 这里除了会记录一下客户端连接的信息外，也会记录你app输出到console的log

; 可以通过 environment 来添加需要的环境变量，一种常见的用法是修改 PYTHONPATH, 多个变量用,分隔
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere, TEST='test'

;需要修改directory, user, stdout_logfile, command， environment等

$ sudo supervisord   # 以root身份开启supervisor进程， 此时配置中的your_app_name也会启动
$ sudo supervisorctrl status  # 查看状态
```

你的app配置也可以写到另一个文件中，然后在supervisord.conf中include进去
```
[include]
;files = relative/directory/*.ini
files = /home/hadoop/project/supervconf/*.conf
```

#### 五 重要事项
##### 5.1 数据库连接池死锁问题
建立数据库连接池的函数需要加上`@postfork`装饰器，或者用`lazy-apps`选择运行web，否则无法使得每个进程拥有独立的进程池，有可能会造成连接无法释放，导致死锁问题
- 添加装饰器方式：
```
from uwsgidecorators import postfork
from flask_mongoengine import MongoEngine
mongodb = MongoEngine()

@postfork
def initdb():
    mongodb.init_app(app)  # 使每个子进程拥有独立的mongodb连接池，避免死锁
    connect_to_your_database()
```
- `lazy-apps`
```
$ vim uwsgi.ini
lazy-apps=true
...
```
> uWSGI tries to (ab)use the Copy On Write semantics of the fork() call whenever possible. By default it will fork after having loaded your applications to share as much of their memory as possible. If this behavior is undesirable for some reason, use the lazy-apps option. This will instruct uWSGI to load the applications after each worker’s fork().
>  With lazy-apps=true uwsgi forks itself and then does the imports. This way every sub-process has it's own connection.

Ok, 这样flask应用就可以愉快的玩耍了~~~~

---
参考：
- [1][Docs » uWSGI Options](https://uwsgi-docs.readthedocs.io/en/latest/Options.html)
- [2][深入理解uwsgi和gunicorn网络模型[上]](http://xiaorui.cc/2017/02/16/%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3uwsgi%E5%92%8Cgunicorn%E7%BD%91%E7%BB%9C%E6%A8%A1%E5%9E%8B%E4%B8%8A/)
- [3][uWSGI参考资料（1.0版本的配置选项列表）](http://heipark.iteye.com/blog/1847421)
- [4][uWSGI的几个使用技巧](https://www.topjishu.com/1267.html)
- [5][进程管理器supervisor的使用（django实例）](http://www.pythontip.com/blog/post/7129/)
- [6][ 使用virtualenv, uwsgi, nginx来布署flask ](http://blog.csdn.net/lihao21/article/details/47731903)
- [7][如何在 virtualenv 环境下搭建 Python Web](https://segmentfault.com/a/1190000002991175)
- [8][将uwsgi配置参数从端口号改为socket文件，需要给uwsgi哪些权限？ ](https://segmentfault.com/q/1010000002535377)
- [9][uWSGI and Database Lockups with SQLAlchemy](https://davidjb.com/blog/2013/08/uwsgi-and-database-lockups-with-sqlalchemy/)
- [10][Using Flask-SQLAlchemy in Multiple uWSGI Processes](https://stackoverflow.com/questions/34252892/using-flask-sqlalchemy-in-multiple-uwsgi-processes)
- [11][uWSGI, Flask, sqlalchemy, and postgres: SSL error: decryption failed or bad record mac](https://stackoverflow.com/questions/22752521/uwsgi-flask-sqlalchemy-and-postgres-ssl-error-decryption-failed-or-bad-reco)
- [12][Using Connection Pools with Multiprocessing](http://docs.sqlalchemy.org/en/latest/core/pooling.html#using-connection-pools-with-multiprocessing)
- [13][Running uwsgi with mongoengine](https://stackoverflow.com/questions/34369866/running-uwsgi-with-mongoengine)

使用nginx，uwsgi，supervisor，virtualenv部署flask项目，以及多进程下的一些坑

附件: