成串 GPU 拉埋訓練，最難搞唔係單張卡幾快，而係一張卡開始拖慢、整條分散式任務都被拖慢。NVIDIA 喺 2026 年 11 月 5 日發布嘅技術博客講明，呢種「壞點」好容易瞇眼：節點照樣過基本健康檢查、utilization（資源使用率）照樣正常，但好put 已經喺度跌，操作員要等工作量跑起先發現。

呢個問題唔止喺交接嗰一刻。集群喺交付時通過 readiness check，但之後換節點、打驅動補丁、加容量，個配置就變了；冇重複驗證，當初嗰認證就再唔反映集群實際狀態。NVIDIA 喺文裏指出，utilization 數字可以掩呢種損失，好put（成功完成嘅工作量，goodput）先係更有用嘅集群效率指標。

邊個工具做邊個位

NVIDIA DSX AI Factory Platform 嘅開源軟件層 NVIDIA DSX OS，用三個工具跟足集群生命週期：

  • Configure（配置）：NVIDIA AI Cluster Runtime（AICR）為 GPU-optimized Kubernetes 基建建一個可重現嘅 baseline，定義 networking、storage、driver 等組件嘅 version-locked 配置 recipe，再將 recipe render 成 bundle，交由既有部署工具套用。AICR 負責 generate 同 validate；deployer 負責 apply 同 reconcile。聲明式模板幫偵測人手改動引致嘅 configuration drift。
  • Certify（認證）：NVIDIA Cluster Readiness Engine（NVCRE）用 AI workload 同 diagnostics 測 GPU、networking、storage，判斷集群有冇準備好跑生產；記錄認證結果，並幫識別有故障嘅節點。
  • Operate（運行）：NVSentinel 持續監察集群健康，依 GPU、node、network 健康狀況發布節點狀態；如已配置，會 cordon 或 taint 唔健康節點、drain workload、修復故障，並可喺節點返場前觸發 NVCRE 重新驗證。

授權同邊界

三個項目全部係 open source，授權係 Apache 2.0，並公開歡迎外部貢獻。

文章本身係 NVIDIA 自家技術博客入面嘅 walkthrough，跟住一個集群行完整個 lifecycle：由 recipe 做配置、生產前做認證、運行中做監察、修復後重新認證，每個命令係該序列其中一步。

模姐驗嚇貨呢個係 NVIDIA 自家 blog，所有工具由 NVIDIA 開發、由 NVIDIA 描述邊界；文內冇獨立第三方對呢三件工具嘅測試或評測，亦冇用户實際使用結果。AICR 嘅 version-locked recipe 理論上可以防人手改動引致嘅 drift，但 recipe 庫入面有幾多預驗證過嘅 overlay 組合、NVCRE 嘅診斷覆蓋面同 NVSentinel 嘅 cordon 反應速度，文內冇提供數據。呢三件工具嘅實際集群覆蓋同穩定性，要等獨立部署先至有對照。

開源唔等於免查證：Apache 2.0 授權同接收外部貢獻，唔代表功能已經驗證。用前照例核對版本同授權。

模姐｜深度調教