本页目录展开
  1. 逐起复盘
    1. 一、2023.9.18:上线当天崩服,原因没查出
    2. 二、2023.9.22 13:45:12:全部帖子被删除
    3. 三、2023.9.26:评论数全变成 1
    4. 四、2024.1.26:验证码发不出,注册归零
    5. 五、2025.11—2026.1:双 Token 改造,先撑爆 Redis,再撑爆 MySQL
    6. 六、2026.8.30:磁盘满,整机挂死约一小时
    7. 七、2026.9.19:蜜罐封了入口 Nginx,API 失效约 35 分钟
    8. 八、2026.9.22:图床误删线上组,丢约 900 张图
    9. 九、2026.9.29:traefik 抢占 80/443,25 个域名 HTTPS 挂约 2.5 小时
  2. 九起放在一起看

本篇收九起有记录的事故,从 2023 年。每起按「发生了什么 → 原因 → 怎么修 → 之后改了什么」压缩,不补原文没有的因果。共同点:九起里没有一起是监控先发现的,发现者都是用户、同学或值班者。

逐起复盘

一、2023.9.18:上线当天崩服,原因没查出

站点打不开,访问者反馈。值班的人重启并重新部署,服务恢复,原因没查出来:没有完整日志,重启把进程状态、错误栈、请求现场清掉了。之后补上日志系统。规矩:重启前先留日志、堆栈、连接数、慢查询。

二、2023.9.22 13:45:12:全部帖子被删除

上线第四天,用户反馈帖子没了;库还在。general log 里 13:45:12 有一条全删语句,后端日志同一时刻连续出现删除请求,没有攻击痕迹——正常请求打到了有缺陷的代码。删除函数不校验目标是否存在,传入不存在的 ID 时条件失效,退化成无条件删除;用不存在的 ID 测试必现全表清空。

用 binlog 恢复:binlog.000003 Pos 217032,mysqlbinlog 按时间位置截出事故前一段,binlog2sql 转回滚 SQL 灌回,核对帖子数与时间戳。之后补备份,函数改成先判存在再删;规矩是 ID 大于 0、WHERE 命中主键、RowsAffected 只能是 1,binlog 需 ROW 格式和保留期。

三、2023.9.26:评论数全变成 1

用户截图:列表评论数都是 1。数据还在,查询取到的是某一条评论记录,没有统计条数。改成按帖子聚合,或单独维护计数字段。规矩:评论数、点赞数、浏览数必须有唯一事实源,查询聚合或写时维护加回填,不能 join 一行当计数。

四、2024.1.26:验证码发不出,注册归零

注册连续几天为零,被当成没人注册;一位同学说收不到验证码,才知道入口断了,一直没人报障,拖到 1 月 26 日才修。根因是端口 465 写成 456,QQ 邮箱已关非 TLS 端口。修复:改 TLS,发件箱换企业邮箱。教训:发信失败和注册为零都没告警,零值最该报警。

五、2025.11—2026.1:双 Token 改造,先撑爆 Redis,再撑爆 MySQL

2025.11.16 登录改双 token:短期 access token 加 30 天 refresh token,用一次作废。refresh token 写进 Redis,键名 refresh_token:<JWT>,值为用户 ID,TTL 30 天,用掉才 DEL;登录、刷新、换设备、重授权都产生新键,没用的永不删,Redis 涨满后登录不可用。

11.19 改存 MySQL:新建 refresh_tokens(user_id、唯一 token、expires_at、is_used、created_at),刷新按 token、用户、未使用查一条,标记已用再发新对;每 48 小时的清理任务删三天前已用记录。但条件写成 is_used = 1 AND updated_at < cutoff,表里只有 created_at;SQL 报错被 if result.Error != nil 接住,只打日志就返回,任务「跑了」但没删,两个月后磁盘满。2026.1.20 改成 created_at < cutoff。教训:会话数据要有生命周期;清理要看日志的「N 条」。

六、2026.8.30:磁盘满,整机挂死约一小时

20:26 起依赖磁盘的服务集体超时,日志落盘延迟 3–7 分钟;20:35 整机硬挂死。四类「只进不出」:每日 mysqldump 备份不轮转,三年 1178 个文件、14G;Docker 构建缓存不清,561 次构建留下 28.9G,每日清理脚本因文件丢失静默失败数月;容器日志无上限,一个错误循环容器占 5.5G;journald 无上限,frps 与 k3s 每天多出 500M 以上。磁盘 97%、剩 7.9G,多路大 I/O 把系统 I/O 拖停。

重启后宿主机空的默认 nginx 抢占 80/443,入口容器起不来;后来永久停用它。之后:cron 每日维护(构建缓存 72 小时、备份压缩保留 30 天、60 天后删)、journald 1G、容器日志 50m×3、磁盘 85% 告警。教训:清理任务要验证真的在跑,静默失败比没有清理更危险。

七、2026.9.19:蜜罐封了入口 Nginx,API 失效约 35 分钟

用户反馈 API 全线不可用。后端活着,日志有「服务就绪」,无 panic/OOM;直连容器 200、1.7ms;DB、Redis 正常。蜜罐按 IP 聚合 frps 连接识别扫描器,入口 Nginx 七天访问四个代理 1011 次,命中「四代理 + 一千次」的 multi-scan 阈值;反代和扫描器几乎分不开,调阈值治不了本。tarpit 没加 --dport,封全部端口,请求全改道 endlessh,叠加封禁 7 天;免名单逐 IP 手写,容器 IP 重建即过时。

修复:加内网网段豁免(127/8、10/8、172.16/12、192.168/16),靠「豁免 IP 已封则自动解封」自愈,30 秒恢复。排查法:连一个没人监听的端口,正常应 Connection refused;若也吐随机 token,五秒可判定请求在网络层被按源 IP 劫持。

八、2026.9.22:图床误删线上组,丢约 900 张图

图床部署失败,平台删了线上组,组目录清空,丢约 900 张图;九起里唯一丢数据,部署时发现。三层根因:部署机经 hairpin NAT 访问自己域名,源 IP 是公网 IP,SSH 蜜罐没配 ignoreip,七天全端口 tarpit 掐断到跳板机的路,包传不上去;平台兜底「新建 pod 失败就释放」,把瞬时查询错误误判成「组不存在」,标记为新建,失败后真删线上组,审计里发生过四次;图床只有写 MinIO / 写本地盘两种互斥模式,容器用 su -l(login shell)拉起 supervisord,-l 重置环境变量,MinIO 密钥为空,写本地盘,无备份。

修复:切对象存储并端到端验证(移走本地文件仍能出图);修掉误删判定。教训:数据变更灰度、新旧并行;删除依赖一次网络查询时,不能凭一次判断执行。

九、2026.9.29:traefik 抢占 80/443,25 个域名 HTTPS 挂约 2.5 小时

16:30 起 25 个域名陆续报证书错误,用户反馈才发现,19:01 恢复。docker 里的 nginx 有真证书、接真流量;k3s 的 traefik 零配置空跑。k3s 每次启动按出厂值重装组件,traefik 默认以 LoadBalancer 占 80/443;此前的修复写在托管文件 manifests/traefik.yaml,重启被覆盖。k3s 的 iptables 规则插在最前,KUBE-SERVICES 先命中 443,nginx 规则轮不到——nginx 没坏,证书没过期,只是一个连接都没接到,所以直连容器 IP 正常、走域名报证书错。

触发是 AI 运维代理为启用 gVisor 执行 systemctl restart k3s:重启必要,但变更前没留端口基线、没复核「k3s 无业务」,变更后没自检主站,靠人工报障拖了两个多小时。修复是九行 HelmChartConfig(traefik-config.yaml),重启不覆盖,把 traefik 固化成 ClusterIP,占位容器和 iptables 规则一起消失。

九起放在一起看

事故 真正的缺口 后来补的
崩服 没有日志 日志系统
删库 破坏性操作无护栏、无备份 校验、备份、binlog 恢复流程
计数 展示层与事实源脱节 聚合口径
邮件 静默失败,零值无告警 TLS、换发件箱
双 Token 会话数据无生命周期 改存 MySQL、清理任务、按 created_at 删
磁盘满 清理静默失败数月无人验证 轮转、日志上限、85% 告警
蜜罐封禁 安全动作未评估爆炸半径 内网网段豁免、告警
图床误删 删除无二次确认、无备份 切对象存储、修误删逻辑
证书失效 端口无唯一 owner,托管文件被直接改 HelmChartConfig 固化、端口巡检
  1. 先保现场再动手。 重启、回滚、改配置之前,把日志、堆栈、连接、慢查询留下来。
  2. 破坏性操作当敌人对待。 校验、主键、影响行数、备份,四样缺一不可;删除条件依赖网络查询时,加二次确认或时间窗。
  3. 给「零」和「失败」配告警。 注册为零、发信失败、清理任务连续失败,都该有人被叫醒;等人来问坏没坏,代价太大。

← 回到集市技术专题