NVIDIA 喺 Hugging Face 發布 Cosmos 3 模型家族嘅四款新開放權重檢查點(open-weight checkpoints),全部係 Cosmos 3 Nano 嘅後訓練(post-trained)版本,各有 16B 可訓練參數,授權條款為 OpenMDW1.1,容許商業及非商業使用。

四款模型各有分工

  • Cosmos3-Nano-Transfer-Auto:離線合成駕駛資料生成,支援最多 11 個鏡頭視角(包括魚眼鏡頭)嘅同步影片生成,並支援 RGB–LiDAR 聯合生成。開發者可調整天氣、照明同時間以擴展訓練同評估覆蓋。
  • Cosmos3-Nano-Sim-Auto:Transfer-Auto 嘅因果蒸餾(causal distillation)流式版本,用少量去噪步驟生成連續嘅同步相機影片及 LiDAR 數據,支援快速流式模擬。
  • Cosmos3-Nano-Sim-Transfer:將物理模擬器嘅控制信號同文字提示轉化為照片級寫實影片。
  • Cosmos3-Nano-Sim-Bimanual:由機械人或相機動作預測後續影片,為機械人提供跨場景、跨視角嘅環境模擬。

開放權重:下載得到定真係開放?

NVIDIA 明確表示開放權重同後訓練配方(post-training recipes)係「共同起點」,目的係讓研究人員同開發者能適應模型、比較方法、貢獻改進。Transfer-Auto 嘅技術路線:開發者可將佢喺自己嘅數據上後訓練,適應自己嘅鏡頭佈局、LiDAR 配置同目標環境;適應後可直接用於離線資料生成,或經因果訓練同少步蒸餾(few-step distillation)轉為快速流式模擬——即係 Sim-Auto 嘅開發路徑。

呢度值得留意:開放權重唔等同完整開源。模型卡、授權範圍、可商用條款,都係要核對清楚嘅。

廠商話乜,第三方點睇?

NVIDIA 自己承認「呢啲問題仍然困難」,未來工作需要衡量模型喺邊度能忠實支持策略學習同評估、理解佢哋嘅限制、喺出錯處改進。呢段係廠商自評,未見獨立第三方測試數據。

對讀者嘅關聯:如果你做自動駕駛研究或機械人模擬,呢四款模型可直接下載使用,無須等待 API 或雲端部署。但任何商用決策,都應該自己核對模型卡嘅授權條款同實際測試。

模姐驗嚇貨:四款模型各有分工,技術路線清晰,授權條款明確。但「開放權重」三個字只係第一步——模型喺真實場景嘅表現、同已有競品嘅差異,都有待獨立測試。而家呢份材料冇跑分、冇基準測試,冇第三方覆核,等下個。

模姐|深度調教