NVIDIA 出機械人模擬五步指南 AI 代寫 Python 配物理參數

10 月 8 日,NVIDIA 喺技術部落格(developer.nvidia.com)發表了一篇長文,講明點樣用「SimReady」規範同 NVIDIA Omniverse 工具鏈,將機械人 CAD 模型轉為可用喺模擬環境嘅資產。全文用 ABB Robotics 嘅 YuMi 雙臂機械人做示範,並提出一個五步驟工作流程。

點解轉完 USD 仲未夠?

文中指出,單將 CAD 幾何體轉為 OpenUSD(Universal Scene Description,一種通用場景描述格式)唔代表資產已「sim ready」。缺碰撞幾何體(collision geometry),物體可以穿過機械爪;關節(joints)設定錯誤,就唔會協調動作;質量、摩擦力等物理屬性直接決定抓取係咪穩定。所以轉完格式,仲要逐一配置同驗證呢啲模擬屬性。

五步驟做緊咩

呢個工作流程分五步:

  1. STEP 檔轉 OpenUSD:將 CAD 嘅 STEP 檔轉為 OpenUSD 表示。
  2. 外觀驗證(appearance validation):檢查材質。
  3. 物理配置(physics configuration):設定質量、摩擦力、關節等。
  4. SimReady 驗證:按所選 profile 嘅規格做結構、材質、物理屬性檢查,有問題就標記俾開發者修正再驗。
  5. 最終任務測試:喺 NVIDIA Isaac Sim 入面做雙臂同機械爪嘅 pick-and-place(抓取放置)任務。

NVIDIA 強調,呢個 workflow「can be applied across many models and robot systems」,唔侷限喺某一型號。

AI 喺入面做乜?

呢篇文最吸引注意嘅地方,係將 frontier AI 模型放喺工作流程入面做助手。文以 GPT-6 Astra 做例子,講明佢可以「help write Python code to call NVIDIA Omniverse libraries at each stage」——即係話,開發者唔使手寫 Python 去調用各階段嘅 Omniverse API,可以俾 AI 模型根據參考資料(規格表、STEP 檔、參考圖同影片)自動編寫代碼。

操作環境係喺 Isaac Sim 目錄入面啟動 Codex CLI,AI agent 喺入面揾到所需嘅 skills(例如 CAD-to-SimReady skill),然後逐步引導資產轉換、材質同物理配置、驗證。

值得留意:GPT-6 Astra 喺文中有兩個出現位置,一個係「In this workflow example, we used GPT-6 Astra」,另一個係安裝步驟「Install your frontier AI model」,即係話 NVIDIA 呢個 workflow 唔綁定特定模型,GPT-6 Astra 只係佢哋選擇嘅示範之一。

工具鏈

整套流程用到以下技術:

  • OpenUSD:統一表示幾何、組裝結構、材質同模擬屬性
  • SimReady Foundation:提供規格同驗證指引
  • NVIDIA Omniverse libraries:提供轉換、檢查、準備 OpenUSD 內容嘅能力
  • NVIDIA Isaac Sim:配置物理同測試機械人行為嘅環境
  • NVIDIA Omniverse AI Agent skills:引導 agent 做資產轉換同驗證

文提到,camera-based perception(相機感知)可以喺另一獨立 workflow 加入。

模姐驗嚇貨

呢篇係 NVIDIA 自家技術部落格嘅操作指南,唔係獨立評測。佢展示嘅係「我哋呢個工具鏈點樣用」,唔係「呢個工具鏈幾好用」或者「邊個 AI 模型做呢單嘢最勁」。GPT-6 Astra 喺入面嘅角色係被 NVIDIA 揀作示範,冇任何獨立測試數據支持「GPT-6 Astra 喺呢個 workflow 嘅表現」。

對想跟住做嘅開發者:佢哋需要 Isaac Sim 安裝、STEP 檔、機械人規格、同 frontier AI model 嘅安裝。NVIDIA 冇喺呢篇文披露任何時長、成本或者精度數字。想複製呢個 workflow 嘅讀者,要留意 NVIDIA 冇提供獨立驗證,所有效能聲稱(包括「reducing manual preparation」)都係廠商嘅表述。