NVIDIA 昨日（10 月 26 日）喺技術博客透露咗佢哋嘅 Minerva 平台點樣處理大型 AI 訓練中心嘅運維難題。呢個係一個 NVIDIA 自述嘅「AI 原生 AIOps 平台」，設計貼住 AI 工廠嘅網絡拓撲同工作負載，目標好實際：保住有效 GPU 工時，令模型訓練唔好停。
問題：一隻 GPU 拖慢成個訓練
AI 工廠係少數最複雜嘅生產環境之一：數十萬塊 GPU、Spectrum-X 乙太網路、NVLink 高速互連、分散式排程同以週為單位嘅訓練跑在同一個生產系統入面運行。文章指出，同步分佈式訓練入面，任務進度取決於最慢嗰個 rank；單是喺持續負載先至失速嘅 NVMe 碟、跑喺同儕以上幾度嘅 GPU、或者產生 pause-frame 風暴嘅交換機，都可以令大量正常資源陪住浪費時間，並造成延遲 checkpoint。
更棘手嘅係呢啲「灰色故障」——元件仲係 online，但問題只喺加載或同同儕比較先出現。傳統基於靜態閾值嘅監控，唔能夠捕捉呢啲偏移，而過激嘅閾值又會喺正常負載波動時製造大量誤報，要值班工程師逐個判斷邊個偏離先係問題。
證據分散喺唔同團隊
文章描述，診斷困難正正因為證據分散：網絡團隊睇到 interface counters 同 fabric 事件，計算團隊睇到 node 同 GPU 健康，ML 團隊睇到步進時間變化同失敗任務。每一塊嘅數據各自準確，但彼此之間嘅關係喺傳統看板入面係隱藏嘅。一次物理故障可以同時產生 interface 錯誤、RX pause frames、擁塞指示、GPU 利用率變化同任務變慢，但散落喺唔同看板嘅告警會被呈現為互不相干嘅事件，值班工程師需要手動關聯、分辨訊號、判斷根因同找出受影響嘅任務。
資料圖片：Pixabay
Minerva 點做
按 NVIDIA 嘅描述，Minerva 嘅做法係：
- 跨全棧收集遙測數據（telemetry）
- 用動態知識圖譜將基礎設施對應到活躍工作負載
- 應用專屬機械學習
- 將相互依賴嘅症狀關聯成高保真事件
- 提供由 AI agent 驅動嘅助手同 MCP 伺服器（Model Context Protocol，模型可調用外部工具嘅標準協定），令操作員可以用對話方式穿越同一批即時證據
文章又強調，運維入面 workload 先係重要單位：團隊需要知道邊個任務受影響、佢佔用嘅資源喺物理同邏輯拓撲邊度、當前行為同健康基線有乜分別，而呢個上下文必須喺任務開閘、節點 drain 或更換時保持更新。
模姐驗嚇貨
呢篇係廠商自家產品介紹，唔代表第三方驗證；Minerva 冇公佈具體跑分或客户實例。文章對問題嘅描述——灰色故障、告警放大、跨團隊證據斷裂——與業界大型訓練集群嘅實際困境吻合，但 NVIDIA 同時係硬件供應商同運維軟件供應商，對自家方案嘅描述應按其披露範圍理解，唔構成獨立效能評估。GPU 訓練集群嘅可觀測性係一個正緊係快速演變嘅領域，後續有冇獨立第三方評測或客户部署數據，係持續關注嘅點。
