服务状态

延迟稳定在 0.5 ms 以下已超过 1 小时，事件关闭。全程实例未停机，按 SLA 定义不构成停机，未发放补偿。

故障盘已隔离，纠删组重建限速至 200 MB/s，卷池写入延迟回落至 1.1 ms。

一块 NVMe 出现大量可纠正错误，触发的纠删组重建占满了存储后端带宽。

监控显示 DFW-1 存储卷池写入延迟由 0.4 ms 升至 12 ms，多名用户报告训练 checkpoint 写入变慢。实例系统盘与 S3 不受影响。

节点追上链头，所有滞留交易已入账，共 213 笔充值受影响，无一笔丢失。因入账延迟导致自动续费失败的 6 个实例已由我们手动续费并免除本次续费的间隔损失。

Tron 网络拥堵期间我们的两台全节点区块同步落后约 40 个区块。已切换到备用节点并提高同步线程数。

多名用户报告 TRC20 充值链上已确认但余额未更新，延迟 10–25 分钟。其他链正常。

上游运营商确认为其路由器配置推送错误。中断 38 分钟，影响 LAS-1 约 60% 实例的公网可达性（内网与存储正常）。SLA 补偿已于 07-25 自动发放至全部受影响实例，按 3 倍停机时长计算。

已通过另一家上游重新公告前缀，全球路由收敛，从亚洲探测点恢复可达。

上游运营商之一错误撤回了我们的一个 /22 前缀公告，仅经由该上游到达的流量被丢弃。

东京与新加坡探测点报告 LAS-1 部分 IP 段不可达，法兰克福探测点正常。

全部 40 台 HGX H200 节点已回滚固件，all-reduce 带宽恢复至基准值。每台节点重启约 8 分钟，重启期间按 SLA 以 3 倍时长发放补偿。

开始滚动回滚，需重启节点，逐台与用户通过工单协调时间；未运行任务的空闲节点优先处理。

上一批 BMC 固件将 NVSwitch 电源策略默认设为节能模式，导致 NVLink 带宽下降约 35%。单卡性能不受影响。

多名用户报告 8 卡 H200 整机的 NCCL all-reduce 带宽较上周下降约 35%。

被挖断的线路修复完成，双上游恢复。中断 2 小时 41 分，IAD-1 全部实例公网不可达。SLA 补偿已自动发放至全部 IAD-1 实例，按 3 倍停机时长计算，合计 ₮14,206。

另一条处于维护中的上游线路提前恢复，流量恢复，正在观察丢包率。

两条上游线路中的一条因市政施工被挖断；另一条恰好处于上游运营商的计划维护窗口内。允许两条线路的维护与风险窗口重叠，是我们的排期失误。

四个探测点同时报告 IAD-1 全部公网连接中断，机房内网与存储正常。

备用机组接管，进风温度恢复至 22°C，GPU 频率恢复正常。约 180 台实例经历 2.5 小时的性能下降（GPU 时钟降至约 70%），未停机。虽不构成 SLA 停机，仍对受影响实例发放相当于 1 天租金的补偿。

C 排机柜对应的一台 CRAC 机组压缩机故障，备用机组切换延迟。

DFW-1 C 排机柜进风温度升至 31°C，节点触发 GPU 自动降频保护。

约 40 台节点断电重启，中断 12 分钟。虽然发生在已公告的计划维护窗口内，但断电超出了公告的「无中断预期」范围，因此按 SLA 3 倍时长发放补偿。

UPS 到发电机切换时一路 PDU 跳闸，B 排部分机柜失电。

按计划执行 UPS 到发电机的切换测试。

固件更新后丢包消失。累计约 20 小时 2–5% 的间歇性丢包，实例未停机；对提交工单的用户按实际影响时长发放补偿。

在维护窗口内对 6 台受影响的 ToR 交换机更新固件，每台切换约 30 秒。

某型号 ToR 交换机固件在特定 LACP 状态下丢帧，厂商已提供修复版本。

DFW-1 部分用户报告 SSH 会话间歇断开，探测点测得丢包率 2–5%。