1. 为什么你需要Supervisor想象一下你花了三天三夜开发的Python脚本突然崩溃了而当时你正在度假的海滩上晒太阳。更糟的是这个脚本负责处理每分钟上万笔的支付订单。这时候一个可靠的进程守护工具就像你的24小时待命的技术助理——这就是Supervisor的用武之地。Supervisor本质上是一个用Python写的进程控制系统它能帮你把普通的后台程序变成打不死的小强。我最早接触它是在2014年部署一个Django项目时当时用nohup启动的进程总是莫名其妙消失直到同事推荐了Supervisor从此再也没为进程意外退出头疼过。与传统的nohup或systemd相比Supervisor有三大杀手锏自动重启进程挂了自动拉起就像给程序上了复活甲集中管理一个界面管所有进程不用再记一堆PID状态监控实时查看进程状态和日志问题排查快人一步在实际生产环境中我见过太多因为进程意外退出导致的线上事故。有一次电商大促一个负责库存同步的脚本崩溃了4小时都没人发现最后导致超卖2000多单。如果当时用了Supervisor这种悲剧完全可以避免。2. 从零开始搭建Supervisor环境2.1 安装的三种姿势在Ubuntu 20.04上安装Supervisor简单得令人发指sudo apt update sudo apt install -y supervisor但如果你在用CentOS可能会遇到Python版本的问题。我建议直接用pip安装最新版pip install supervisor对于Docker用户更推荐在基础镜像里直接集成。这是我常用的Dockerfile片段RUN apt-get update apt-get install -y supervisor \ mkdir -p /var/log/supervisor \ mkdir -p /etc/supervisor/conf.d COPY supervisord.conf /etc/supervisor/supervisord.conf CMD [/usr/bin/supervisord, -n, -c, /etc/supervisor/supervisord.conf]2.2 配置文件解剖课Supervisor的主配置文件通常位于/etc/supervisor/supervisord.conf但我不建议直接修改它。更好的做法是echo_supervisord_conf /etc/supervisor/supervisord.conf这个配置文件分为几个关键部分[unix_http_server]控制管理接口的socket配置[inet_http_server]Web管理界面配置建议修改默认端口[supervisord]守护进程本身的日志、PID等设置[include]自定义配置的存放目录我最常调整的参数是这些[unix_http_server] file/var/run/supervisor.sock chmod0700 [inet_http_server] port0.0.0.0:9001 usernameadmin password你的强密码 [supervisord] logfile/var/log/supervisor/supervisord.log logfile_maxbytes50MB logfile_backups10 [include] files /etc/supervisor/conf.d/*.conf2.3 你的第一个守护进程让我们来守护一个简单的Python HTTP服务。在/etc/supervisor/conf.d/webapp.conf中添加[program:webapp] command/usr/bin/python3 /opt/webapp/app.py directory/opt/webapp userwww-data autostarttrue autorestarttrue stderr_logfile/var/log/webapp.err.log stdout_logfile/var/log/webapp.out.log environmentPYTHONPATH/opt/webapp这里有几个容易踩坑的点command必须前台运行不能带或nohupuser权限要合理别用root运行你的应用目录权限要检查确保日志目录存在且可写加载配置的完整流程sudo supervisorctl reread # 重新读取配置 sudo supervisorctl update # 更新变更的配置 sudo supervisorctl status # 检查状态3. 玩转Supervisor控制台3.1 supervisorctl的十八般武艺Supervisor的灵魂工具就是supervisorctl它就像进程管理的瑞士军刀。这些命令我每天都要用查看所有进程状态supervisorctl status启停单个服务supervisorctl start webapp supervisorctl stop webapp supervisorctl restart webapp批量操作supervisorctl stop all supervisorctl start all紧急情况下重载整个配置supervisorctl reload3.2 Web界面监控从未如此简单在配置中开启Web界面后记得改默认密码访问http://服务器IP:9001你会看到一个类似这样的管理界面![Supervisor Web界面示意图]这个界面特别适合给非技术同事使用他们可以直观看到哪些服务在运行查看实时日志输出执行简单的启停操作我曾经给运营团队培训过这个界面从此再也不用半夜接电话处理服务重启的问题。3.3 高级技巧进程分组管理当你有十几个相关进程时分组管理会特别有用。比如管理一组微服务[group:microservices] programsuser_service,order_service,payment_service [program:user_service] command/usr/bin/python3 /opt/services/user.py # 其他配置... [program:order_service] command/usr/bin/python3 /opt/services/order.py # 其他配置...这样可以通过组名批量操作supervisorctl stop microservices:*4. 生产环境最佳实践4.1 日志管理的艺术Supervisor的日志配置直接影响故障排查效率。这是我的标准配置模板[program:myapp] stdout_logfile/var/log/myapp/out.log stdout_logfile_maxbytes50MB stdout_logfile_backups10 stdout_capture_maxbytes1MB stderr_logfile/var/log/myapp/err.log stderr_logfile_maxbytes50MB stderr_logfile_backups10 stderr_capture_maxbytes1MB几个经验之谈日志轮转设置合理的maxbytes和backups错误分离stdout和stderr分开记录目录权限确保运行用户有写权限4.2 环境变量传递技巧很多配置错误源于环境变量问题。Supervisor支持多种传参方式方法一直接在command中设置command/usr/bin/env DB_HOST127.0.0.1 /path/to/command方法二使用environment选项environmentDB_HOST127.0.0.1,DB_PORT5432方法三从文件加载适合敏感信息environmentENV_PATH/etc/myapp/envfile4.3 资源限制与安全生产环境必须考虑的安全措施限制资源使用[program:resource_intensive] process_name%(program_name)s_%(process_num)02d numprocs4 priority500网络访问控制[inet_http_server] port127.0.0.1:9001权限最小化[program:webapp] userwww-data directory/var/www5. 故障排查实战指南5.1 经典错误socket文件丢失错误信息unix:///var/run/supervisor.sock no such file这是我遇到最多的三个解决方案方案一彻底重启sudo systemctl stop supervisor sudo pkill supervisord sudo supervisord -c /etc/supervisor/supervisord.conf方案二手动创建socketsudo touch /var/run/supervisor.sock sudo chmod 777 /var/run/supervisor.sock sudo supervisorctl restart all方案三检查文件权限sudo chown root:supervisor /var/run/supervisor.sock sudo chmod 770 /var/run/supervisor.sock5.2 端口冲突问题错误信息Error: Another program is already listening on a port...分步解决方案找出占用端口的进程sudo lsof -i :9001如果确实是Supervisor残留sudo unlink /var/run/supervisor.sock sudo pkill supervisord检查是否有多个配置文件冲突sudo find /etc -name *.conf | grep supervisor5.3 CPU占用率飙升当Supervisor自己开始狂吃CPU时通常是因为僵尸进程ps aux | grep supervisord kill -9 异常PID配置错误导致循环重启 检查日志中的重启频率grep exited too quickly /var/log/supervisor/supervisord.log日志文件过大truncate -s 0 /var/log/supervisor/supervisord.log5.4 其他常见问题速查表问题现象可能原因解决方案FATAL Exited too quickly程序立即退出检查command是否前台运行Cant find commandPATH问题使用绝对路径或设置environment日志文件不更新权限问题chown和chmod日志目录Web界面无法访问防火墙/绑定IP检查端口和bind设置6. 与其它工具的协作6.1 和Docker的完美配合在Docker中使用Supervisor有两种模式模式一单进程管理CMD [/usr/bin/supervisord, -n, -c, /etc/supervisor/supervisord.conf]模式二多进程管理[program:nginx] command/usr/sbin/nginx -g daemon off; [program:app] command/usr/bin/gunicorn -w 4 app:app6.2 与Systemd的集成对于使用Systemd的系统可以创建服务文件/etc/systemd/system/supervisor.service[Unit] DescriptionSupervisor process control system Afternetwork.target [Service] Typeforking ExecStart/usr/bin/supervisord -c /etc/supervisor/supervisord.conf ExecStop/usr/bin/supervisorctl shutdown ExecReload/usr/bin/supervisorctl reload Restarton-failure [Install] WantedBymulti-user.target然后启用服务sudo systemctl enable supervisor sudo systemctl start supervisor7. 性能监控与优化7.1 监控Supervisor自身使用这个简单的shell脚本监控Supervisor状态#!/bin/bash STATUS$(supervisorctl status | grep -v RUNNING) if [ -n $STATUS ]; then echo 发现异常进程 echo $STATUS # 这里可以添加邮件或Slack通知 fi7.2 进程资源监控在配置中添加事件监听[eventlistener:process_monitor] command/path/to/monitor_script.py eventsPROCESS_STATE,TICK_60示例监控脚本monitor_script.pyimport sys from supervisor.childutils import listener def write_stdout(s): sys.stdout.write(s) sys.stdout.flush() while True: headers, payload listener.wait() if headers[eventname] PROCESS_STATE_FATAL: # 发送警报 write_stdout(进程崩溃警报\n) listener.ok()8. 真实案例电商系统部署去年我帮一个电商平台用Supervisor管理他们的系统架构是这样的订单处理集群[program:order_worker] command/usr/bin/python3 /opt/order/worker.py process_name%(program_name)s_%(process_num)02d numprocs8 priority1000库存同步服务[program:inventory_sync] command/usr/bin/python3 /opt/inventory/sync.py startsecs30 autorestartunexpected促销活动队列[group:promotion] programsflash_sale,coupon_check [program:flash_sale] # 具体配置...关键收获为不同业务设置不同的重启策略CPU密集型任务限制进程数金融相关服务设置更高的优先级9. 进阶技巧自定义事件与插件Supervisor支持事件系统可以实现高级自动化。比如这个自动报警脚本#!/usr/bin/env python3 from supervisor.childutils import listener def handle_event(headers, payload): if headers[eventname] PROCESS_STATE_FATAL: send_alert(f紧急进程 {headers[processname]} 崩溃) def send_alert(message): # 实现你的通知逻辑 pass while True: headers, payload listener.wait() handle_event(headers, payload) listener.ok()配置方法[eventlistener:alert] command/path/to/alert_script.py eventsPROCESS_STATE autorestarttrue10. 从单机到分布式当单机不够用时可以考虑这些方案方案一多机独立部署每台机器装自己的Supervisor用Ansible统一管理配置方案二集中化管理使用Supervisor的XML-RPC接口开发统一管理面板方案三迁移到K8s将Supervisor管理的进程容器化用K8s的Deployment保证可用性我曾经将200多台服务器的Supervisor实例通过SaltStack统一管理实现了配置集中下发状态统一监控批量操作执行11. 安全加固 checklist生产环境必须检查的安全项[ ] Web界面启用强密码认证[ ] 限制Web界面的访问IP[ ] 定期轮换日志文件[ ] 禁用不必要的HTTP接口[ ] 使用专用用户运行进程[ ] 配置文件权限设置为640[ ] 定期审计进程权限[ ] 监控Supervisor自身进程12. 调试技巧深入Supervisor内部当遇到诡异问题时可以开启调试模式supervisord -n -c /etc/supervisor/supervisord.conf -l /tmp/supervisord.debug.log -d关键调试命令# 查看主进程状态 ps aux | grep supervisord # 检查子进程 supervisorctl pid program_name # 实时日志 tail -f /var/log/supervisor/supervisord.log13. 替代方案比较虽然Supervisor很棒但有些场景可能需要其他工具工具优势劣势Systemd系统集成度高配置复杂重启策略有限Docker隔离性好单容器多进程管理麻烦Kubernetes分布式能力强学习曲线陡峭PM2Node.js生态友好其他语言支持有限我的经验法则是简单Linux服务Systemd多进程管理Supervisor容器环境Docker/K8sNode.js应用PM214. 性能调优实战遇到性能问题时可以检查这些参数[supervisord] minfds65535 ; 文件描述符限制 minprocs2000 ; 进程数限制调整子进程配置[program:worker] priority999 ; 更高优先级 startsecs5 ; 启动等待时间 startretries3 ; 启动重试次数监控关键指标# 查看打开文件数 lsof -p $(supervisorctl pid webapp) | wc -l # 检查内存使用 ps -p $(supervisorctl pid webapp) -o %mem,rss15. 备份与恢复策略Supervisor的配置和状态需要定期备份配置文件备份tar czvf supervisor_backup_$(date %F).tar.gz /etc/supervisor /var/log/supervisor状态快照supervisorctl status supervisor_status_$(date %s).log灾难恢复# 停止所有进程 supervisorctl stop all # 恢复配置 tar xzvf backup.tar.gz -C / # 重新加载 supervisorctl reload16. 自动化运维集成将Supervisor纳入你的自动化运维体系Ansible Playbook示例- name: 部署Supervisor配置 template: src: templates/webapp.conf.j2 dest: /etc/supervisor/conf.d/webapp.conf notify: - reload supervisor handlers: - name: reload supervisor command: supervisorctl updateCI/CD集成 在部署脚本中加入ssh userhost sudo supervisorctl restart webapp17. 疑难杂症处理记录这些年我遇到的一些奇葩问题案例一时区导致的定时任务异常现象每天固定时间进程重启 原因服务器时区设置错误 解决统一使用UTC时间并在代码中处理时区转换案例二日志文件导致的磁盘爆满现象服务器磁盘空间不足 原因日志未轮转单个文件达50GB 解决设置合理的logfile_maxbytes和logfile_backups案例三SELinux阻止进程启动现象权限正确但进程无法启动 解决sudo audit2allow -a -M mysupervisor sudo semodule -i mysupervisor.pp18. 资源监控与告警使用Prometheus监控Supervisor状态安装supervisor_exporterpip install supervisor_exporter配置Supervisor[program:supervisor_exporter] command/usr/local/bin/supervisor_exporter autostarttruePrometheus配置scrape_configs: - job_name: supervisor static_configs: - targets: [localhost:9002]关键监控指标进程运行状态重启次数运行时长资源占用19. 升级与迁移指南从旧版本升级的注意事项备份现有配置cp -r /etc/supervisor /etc/supervisor.bak检查配置兼容性supervisord --version分阶段升级# 测试环境 pip install --upgrade supervisor # 生产环境 apt-get upgrade supervisor迁移到新服务器时除了配置文件别忘了日志文件目录结构环境变量设置依赖的软件版本20. 终极排错流程当遇到无法解决的问题时按照这个流程走检查日志tail -n 100 /var/log/supervisor/supervisord.log手动运行命令sudo -u [运行用户] /path/to/command简化配置 创建一个最小化测试配置排除干扰启用调试模式supervisord -n -d检查系统资源df -h # 磁盘空间 free -m # 内存 top # CPU寻求帮助supervisord --help man supervisord