NVIDIA喺2026年11月2日喺技術博客撰文，介紹喺分散式AI訓練（distributed training，即同一模型任務拆散喺多機多GPU同步訓練）中，跨硬件同軟件依賴嘅故障會令訓練進度中斷，而快而可靠嘅復原成為必要。NVIDIA Recovery就係佢哋為此推出嘅開源工作負載級服務。
按博文，常見中斷包括：某個training rank（同一次訓練中嘅單一計算節點）卡死觸發NCCL（NVIDIA Collective Communications Library，GPU間集合通訊庫）超時、GPU節點停止回應排程器、或者「straggler」（慢節點）拖慢整個job。單次中斷可以處理，但累積影響同恢復開支會拉低goodput（生產性訓練時間佔總運行時間比例），即「把掛牆時間轉成實際訓練產出」嘅效率。
圖片：Coolcaesar／CC BY-SA 4.0／Wikimedia Commons
NVIDIA Recovery係NVIDIA DSX OS嘅一部分，呢個係一個模組化軟件組合，同NVIDIA DSX AI Factory Platform一齊組成AI工廠平台。佢嘅運作機制：
- 偵測：用應用日誌、GPU指標同排程器訊號偵測中斷
- 歸因：用failure attribution（故障歸因）識別涉及嘅資源
- 隔離同重啟：協調故障節點隔離，喺健康節點由checkpoint（存檔點）重啟受影響任務
博文指佢可處理並發中斷、減少人手介入。NVIDIA Recovery會同Slurm（常見嘅HPC集群排程器）整合；喺Kubernetes部署中，節點健康監控由NVSentinel處理，負責監察GPU指標同XID事件並自動隔離故障節點，而Slurm則多由自訂prolog/epilog腳本做健康檢查。
NVIDIA亦話呢個係延續之前Dgx Cloud resilience文章、GTC講座同Mission Control 2.5文章嘅分層架構——由底層「break-fix」硬件修復、到框架層NVRx庫嘅job內恢復、再上到集群排程，NVIDIA Recovery填嘅正正係「工作負載級」呢個缺口，把硬件修復同workload恢復串埋。
模姐驗嚇貨：呢類「自動復原」嘅賣點，關鍵要看三個數字——恢復延遲（recovery latency）、恢復成功率（recovery success rate）、同恢復生產性訓練所需時間。NVIDIA博文列咗要追蹤呢三個operational metrics，但目前冇公開任何獨立第三方測試或實際集群數據。同以往一樣，廠商自家架構圖同宣傳，同獨立驗證係兩回事。用家部署前，值得問：個開源授權係咪完整可用、有冇隱藏依賴、同佢哋承諾嘅「自動」係咪真係唔需要人手fallback。
