业务赋能中心

运维监控与网关健康

云端、本地网关、组网链路、Syncthing 存储、业务任务和告警处置的运维口径。

功能定位

运维中心 用于把 StudioX 的云端控制面、本地网关、组网链路、共享盘存储、Syncthing 同步和业务任务风险集中到一个指挥台里。

它不是数据库修复工具,也不是远程重启平台。它的核心价值是帮助运维人员判断:哪里异常、异常属于哪一层、影响哪些业务、下一步先处理什么。

分层看系统

运维中心应按这些层次理解:

层级关注内容
云端控制面HTTP 服务、MySQL、Redis、队列、告警、事件日志、WSS 控制入口
本地网关服务Go Gateway、WSS 回连、健康检查、metrics、能力声明
本地能力面Python worker、共享盘、预览目录、版本目录、FFmpeg、TTS、Print Agent
组网链路面云端到网关、网关到云端、浏览器到网关、外网媒体入口到网关
业务任务面直播录制、TTS、远程打印、素材推送、脚本分镜拆分
处置闭环告警、确认、恢复、忽略、事件流水和处理记录

不要把所有异常都归类为“网关挂了”。很多现场问题其实是入站链路、浏览器代理、共享盘权限、Syncthing 同步或业务任务堆积。

状态怎么读

运维中心通常会出现四类状态:

状态含义
正常当前证据显示服务、链路或任务处于可用状态
关注有风险或局部异常,但未必影响全部业务
高危已影响关键服务、链路或业务任务
未知当前证据不足,不能证明正常,也不能证明故障

未知 不等于异常。比如云端访问不到网关 health 时,云端就无法判断 worker、共享盘、预览目录是否正常。这时应显示为未知,而不是直接判定本地能力故障。

服务状态和链路状态

运维排障时必须拆开两件事:

  • 服务状态:本地网关进程、worker、共享盘、TTS、Print Agent 等是否可用。
  • 链路状态:云端、浏览器、外网媒体入口和本地网关之间是否能互相访问。

典型判断:

现象优先判断
WSS 在线,但云端访问网关 health 失败网关可能还活着,优先查 base_url、NAT、防火墙、DNS、入站链路
WSS 离线,云端 health 也失败无法确认网关存活,需要本地机器侧确认
health 成功,但 disk_root_ready=false本地共享盘或挂载权限异常
health 成功,但 preview_root_ready=false预览目录或外网预览缓存能力异常
浏览器预览失败,但云端和网关都正常优先查浏览器到本地网关链路、VPN、代理或 TUN 规则

Syncthing 和存储健康

存储健康不只看磁盘是否存在,还要看业务目录是否可用。

重点字段包括:

  • 共享盘根目录是否存在、可写、容量充足。
  • 预览目录和版本目录是否可写。
  • Syncthing 文件夹是否可查询、是否处于同步异常状态。
  • Host Header、TLS 校验和 API 访问策略是否适配当前 Syncthing 部署。
  • 业务目录容量是否会影响直播录制、上传、脚本分镜、TTS 输出或外网预览。

如果某个地区出现“文件能登记但不能预览”“直播任务完成但没有稳定文件”“外网 480p 预览不可用”,先把共享盘、预览目录和 Syncthing 健康一起看。

业务任务风险

运维中心不只看机器状态,也要看任务影响面:

  • 直播录制是否有长时间启动中、停止中、合并失败或转写失败。
  • TTS 是否有处理中堆积、EOF、无输出或本地服务超时。
  • 远程打印是否停在已接收、准备中或打印中。
  • 素材推送是否无人认领、部分成功或频繁触发平台限流。
  • 脚本分镜拆分是否大量处理中或回调结果为空。

服务正常但任务持续失败时,应从业务链路、文件权限、平台限制、任务参数和外部依赖继续排查。

告警和通知

告警应有生命周期,不应重复刷屏:

  1. 发现异常并记录首次发生时间。
  2. 判断影响区域、网关、业务模块和任务数量。
  3. 去重或抑制重复告警。
  4. 通知到对应运维或业务负责人。
  5. 处理后恢复、关闭或标记忽略。
  6. 保留事件流水,便于复盘。

飞书通知适合推送高危或需要人工处理的事件。普通未知状态不应直接升级成故障通知,除非持续时间或业务影响达到阈值。

排障顺序

  1. 看运维总览的综合风险和影响范围。
  2. 分清异常属于云端、本地网关、组网链路、本地能力还是业务任务。
  3. 对网关问题先看 WSS 在线状态,再看 HTTP health 和 metrics。
  4. 对文件问题同时看共享盘、预览目录、版本目录和 Syncthing。
  5. 对业务任务问题进入对应业务详情,看失败原因和事件流水。
  6. 对浏览器访问问题检查 VPN、Clash、TUN、DNS 和直连规则。
  7. 对打印问题同时看云端任务、gateway 日志和 Windows Print Agent。

继续阅读