NVIDIA 喺技術博客（2026 年 11 月 2 日）詳細介紹一套名為 Cosmos 嘅世界模型（world model）平台，專為物理 AI（physical AI）開發者設計，涵蓋自駕（AV）、機械人同手術模擬場景。
乜嘢係 Cosmos
NVIDIA 將 Cosmos 定義為「世界基礎模型同開發工具平台」，分兩部分：
- Cosmos Framework：負責世界模型訓練、多模態數據處理、優化同推論，提供 agent skills 同 recipes
- Cosmos NIM microservices：GPU 加速嘅應用層推理服務（serving），透過 API 對外提供
按 NVIDIA 技術博客，開發者可以由已發布嘅 checkpoints 出發，用 Cosmos Framework 嘅推論 recipes 同 agent skills 生成同步嘅相機影片同 LiDAR（激光雷達）觀測，用喺自駕、機械人同手術模擬。
訓練：LoRA 到全量 SFT
訓練流程支援：
- LoRA（Low-Rank Adaptation，低秩適應）做參數高效微調，或完整監督式微調（SFT）更新全部模型參數
- 數據載入支援 JSONL、WebDataset、LeRobot 格式或自訂 adapter
- 跨多 GPU 訓練，checkpoint 可保存同恢復中斷嘅 run
- Agent 可指向 post-training skill，自動化同加速後訓練流程
強化學習：五條新 pipeline
平台現覆蓋 online 同 offline 兩條 RL（reinforcement learning）路徑，新支援：
- DPO：離線偏好優化
- GRPO：online RL，用規則或模型做 reward，配 vLLM rollouts
- PPO：actor-critic RL，凍結 reference 同 critic，包括 embodied policy RL
- OPD：on-policy distillation，由凍結 teacher 蒸餾
- DiffusionNFT：diffusion world model 嘅 online RL
Rollout、reward、training 三個角色可喺共享 GPU 或獨立 GPU 池運行，並可連接支援嘅模擬器收集經驗。
優化同部署
支援知識蒸餾（減少模型大小或生成步驟）同量化（減少記憶體）。兼容運行平台包括 Hugging Face Diffusers、PyTorch、SGLang、vLLM-Omni、vLLM、TRT-LLM、TRT-Edge-LLM 同 NVIDIA NIM。
圖片：Coolcaesar／CC BY-SA 4.0／Wikimedia Commons
部署流程：按 GPU 型號揀 NIM 配置 → 啟動 container → 驗證就緒狀態 → 發第一個推論請求。
Agent skills：俾 AI 幫你調教模型
新加入嘅 agent skills 涵蓋 setup、inference、post-training、troubleshooting，存喺 .agents/skills。用户俾 agent 一個有界任務，格式：
Post-train <checkpoint> on <dataset> using <recipe>
要求固定所有版本（pin revisions）、驗證數據集、訓練同評估分開、跑 smoke test、設 GPU-hours 上限、用三個 seed 喺 held-out data 對比基礎模型、喺較低精度重複評估並記錄品質、peak memory、latency。
開放程度
NVIDIA 稱 Cosmos Framework 係「開放同完全模組化」，除 Cosmos 3 外，會擴展支援 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 及兼容嘅 Hugging Face 模型。新增加入 Cosmos 3 Nano simulation recipes 同示例 checkpoints，令開發者可以用 agent runnable skills 評估示例 checkpoints，並適應 Cosmos 3 Nano 到自訂 sensor 同 action space。
模姐驗嚇貨
呢篇係 NVIDIA 自己嘅技術博客，所有能力聲稱都出自廠商，冇獨立第三方評測。
「開放同完全模組化」呢句最耐玩。呢篇博客冇交代授權條款、冇解釋 Cosmos 3 Nano 權重係咪免費下載、有冇商用限制——呢啲先係真正影響開發者決定嘅嘢。
Agent skills 自動跑 post-training 係今次新嘅地方。廠商聲稱有 GPU-hours 上限、三個 seed 評估、較低精度重複測試。聽落好似一套完整嘅流程控制，但冇獨立測試驗證過喺邊界條件下行為係咪真嘅可控。廠商示範唔等於產品穩定，呢度仲有距離。
NVIDIA 話平台「expanding beyond Cosmos 3」支援 Qwen 同 pi0.5，但冇交代「兼容」嘅具體邊界。用呢個平台嘅開發者，建議直接睇原始技術文件同跑自己嘅測試。
模姐｜深度調教
