20 日，Meta 披露美國俄亥俄州新奧爾巴尼嘅 Prometheus 超級叢集運作細節，重點講明點樣為大型模型訓練買單備援。目前 Prometheus 超過 11% 嘅 GPU 係處於已損壞或閒置備援狀態。
Prometheus 用 Nvidia GB200／GB300，每個 NVLink 域（NVLink domain，同一個高速互連域）72 顆 GPU，實際訓練只用 64 顆，8 顆熱備援。Meta 解釋，單一 GPU 故障可能拖垮整個機櫃，備援即時補位就可避免機櫃退出集群，縮短中斷時間。
機外容錯：故障可限制喺資料並行單一模型副本內，系統就會令該副本下線，其餘繼續；故障範圍更大，靠分散式檢查點（checkpoint，將模型狀態定期存檔）將狀態異步寫入多層儲存，避免從頭重跑。Meta 將套設計比喻自動儲存同版本回溯，目標係將可能停擺事件降為短暫吞吐量下降。
擴張期亦遇訊號同電力兩關。超過 60 萬條 NVLink 連線，任何輕微訊號劣化都可能觸發恢復流程，導入持續遙測同 L11 診斷測試，部署前先找出弱鏈路。電力方面用軟件 Dynamo Dimmer 逐步調 GPU 功耗，避免尖峰中止。
工程一年後，訓練中斷較 2025 年中期降 99%，由每 8 千 GPU 每日近千次降至約 11 次；目標再壓至約 2 次，約 10 萬 GPU 小時一次。
模姐驗嚇貨：11% 備援聽落似浪費，但攤到 8 千 GPU 規模，中斷由近千次降至 11 次，呢單生意係划算。備援成本同斷電成本，邊個貴，數字已經講明。下一步要睇 1 百萬 GPU 時，8 顆熱備援是否跟比例擴充，定係另加層級。
模姐｜深度調教
