NVIDIA 於技術博客發文,交代如何將 Kubernetes 叢集配置更新,以支援其新一代 Vera Rubin NVL72 伺服器,目標係令 AI 集群於新硬件「首日就緒」。對運行 GB200 NVL72 嘅集群管理者嚟講,呢個係必須提前規劃嘅過渡期。

需要改動嘅硬件同驅動

Vera Rubin NVL72 係基於 NVIDIA MGX 機架級架構嘅第三代產品。相對於現行 GB200 NVL72,有幾個關鍵變更:

  • GPU 驅動:Vera Rubin NVL72 需新驅動分支。現已於 R615.23 版本驗證過,早期支援目標為 R610,官方平台支援將於 R620 提供。R615.23 目前係測試版本,並非確立嘅官方最低支援。AICR 嘅 GB200 基準係 R580.173.02。
  • 網絡卡同 DPU:Vera Rubin NVL72 將 GB200 NVL72 參考設計入面嘅 ConnectX-7 網絡卡同 BlueField-3 DPU,更換為 ConnectX-9 SuperNIC 同 BlueField-4 DPU。DOCA 3.3.0 係首個支援 ConnectX-9 嘅 GA 版本,亦係 Vera Rubin 系統映像驗證時使用嘅版本。呢個係測試平台版本,並非要求或建議。AICR 會使用主機安裝嘅 NIC 驅動同 DRANET 進行 pod 分配。Network Operator 兼容性係另一獨立認證步驟。
  • 設備拓撲:Vera Rubin NVL72 嘅 NIC/GPU/DMA 拓撲與 GB200 不同。對於 I/O 密集型工作負載(如 RDMA 網絡、GPUDirect Storage),必須重新檢查 GPU-NIC 親和性同 NUMA placement。兩款參考 compute tray 均含兩顆 CPU 同四個 GPU,但 Vera Rubin NVL72 tray 會暴露八個 ConnectX-9 PCI 設備組(共 32 個功能),而 DGX GB200 NVL72 tray 則有四個 ConnectX-7 適配器。兩款 tray 嘅 GPU-NIC 連接方式均為 socket 內及跨 socket,PCI 功能數量不代表實體端口數量。

NVIDIA AI Cluster Runtime 嘅角色

NVIDIA AI Cluster Runtime(AICR)係其 DSX AI Factory Platform 嘅一部分,旨在將已調優嘅配置捕捉為可重用嘅「食譜」(recipes),並為現有部署工具生成對應 bundle,同時驗證運行中集群。AICR 將協助 Kubernetes 環境於 Vera Rubin NVL72 compute tray 上「首日就緒」。

NVIDIA DSX AI Factory Platform 整體結合了多項技術,協助生態系統設計、建構及營運更高效嘅 AI 工廠,包括為多租户操作及擴展而設計嘅開源、模塊化軟體組件。

對平台團隊嘅意義

呢篇文章面向嘅係運行 GB200 NVL72 嘅集群管理者。知道 Vera Rubin 嘅具體變更,係規劃未來集群軟體及配置更新嘅前提。NVIDIA 亦強調,Vera Rubin 目前仍處於早期階段,相關驗證係基於早期硬件訪問,使用 NVIDIA GPU Operator 同支援 Vera Rubin 嘅 Dynamic Resource Allocation(DRA)驅動完成。

Vera Rubin NVL72 嘅推出,對 AI 基礎設施投資者及部署者而言,代表另一輪硬件迭代嘅過渡期。配置嘅複雜性隨硬件代際演進而增加,呢個嘅核心挑戰正係如何將呢啲低層級嘅驅動、內核、運行時、網絡、操作員同調度器嘅整合工作,從易錯嘅手動流程,轉化為可複製、可驗證嘅標準化流程。