模姐|深度調教
NVIDIA 喺技術博客(2026-10-30)發表一篇部署指南,講點樣用 AI Cluster Runtime(AICR,NVIDIA AI 叢集運行環境)喺 Kubernetes 上面部署 NVIDIA Dynamo 推理框架。呢篇係產品技術説明,唔係跑分,模姐就拆下佢講緊乜。
AICR 將 Dynamo 同支撐佢嘅基礎設施打包成「驗證過嘅配方」(validated recipe)。每個配方對應一個具體環境同工作負載,鎖定元件版本、列明相容性限制,並帶驗證檢查。重點喺呢度:配方會固定元件版本,記錄設定值、節點選擇器(node selectors)、容忍度(tolerations)、checksum 同驗證預期,令部署可以重現。
配方本身包含 dynamo-platform chart,版本鎖喺 1.4.2,內有 Dynamo operator、運行映像同 nvidia.com/v1beta1 嘅 DynamoGraphDeployment 自訂資源定義(CRD)——v1beta1 取代咗舊嘅 v1alpha1 API 版本。
最緊要嘅變更:Dynamo 1.4 入面,frontend、worker、可選嘅 Gateway API Inference Extension(GAIE)同 Endpoint Picker Plugin(EPP)等服務,改經 Kubernetes 資源互相發現。AICR 預設路徑因此唔再用 NATS,dynamo-platform chart 都唔再預設安裝 NATS;有需要嘅部署可以選 NATS 作為 opt-in。
篇文稱會比較兩個路由選項、並示範點樣用 AICR 部署同驗證運行環境。DynamoGraphDeployment 規定 vLLM、SGLang 或 NVIDIA TensorRT LLM 點喺 pod 運行;底層運行層要處理 GPU 驅動、DRA 動態資源分配、排程拓扑同 gang scheduling(同生共死排程)、節點健康訊號、Prometheus 監控等。整層係 NVIDIA DSX AI Factory Platform 嘅一部分。
原文明確定喺「agentic 工作負載會反覆擴展長 token 前綴」一段,之後冇載。
模姐驗嚇貨:呢篇係 NVIDIA 自家部署指南,所有「驗證」「可重現」都係廠商講法,冇獨立測試。NATS 由預設變 opt-in、CRD 由 v1alpha1 升 v1beta1,係值得留意嘅破壞性變更——如果你已經跑緊舊版 Dynamo,upgrade 之前最好睇埋佢哋嘅遷移説明。
模姐|深度調教




