NVIDIA技術博客(2026年10月23日)披露一套用AI代理協作,喺模擬環境訓練機械人避障嘅工作流程,以Microduck為參考平台。
個流程點行
核心idea係:機械人唔止識行,仲要識睇、識保持平衡、識喺有障礙物嘅時候調整路線。呢樣嘢需要好幾個環節互相配合——建立場景資產、用物理模擬模擬機械人同環境嘅互動、喺模擬環境訓練同評測策略。
整個流程由一個描述障礙課程嘅prompt啟動。喺RTX Spark(本地開發平台)上,Hermes同NVIDIA Nemotron 3.5 Bolt將個prompt拆成逐步項目計劃,包括任務定義、可用資源、預期待輸出同代理應跟嘅階段。
六個步驟
- 研究同規劃:睇Microduck官方文件,整理能力、限制同未確定事項,定義路線圖、障礙尺寸、淨空同預定期待路線
- 生成概念圖:用已驗證嘅Microduck參考圖生成寫實課程概念圖,檢查機械人外觀、比例同活動空間
- 識別資產:提取唯一可重用資產,分組重複實例,記錄尺寸、位置同參考限制
- 準備交接:將計劃、機械人簡報、概念圖、資產清單同執行指示打包,交由Astra處理
- 建立同驗證資產:Astra用FreeCAD建幾何、Blender上材質,驗證每個資產完成或明確受阻
- 組裝同測試:驗證機械人能力、組裝課程、測試導航、挑戰同重置,提供可重現嘅指示同證據;全程唔觸碰實體硬件
技術棧點配
- NVIDIA RTX Spark:本地開發hub,做AI輔助規劃同策略驗證
- NVIDIA Isaac Lab:雲端強化學習框架
- Newton:物理行為建模
- NVIDIA Omniverse:RTX渲染生成模擬視覺觀察
- NVIDIA Isaac Sim:本地評估訓練好嘅策略
訓練好嘅策略會返到RTX Spark喺Isaac Sim做本地評估。NVIDIA明確指出,呢個建立嘅係物理部署嘅基礎,模擬同真實世界嘅行為差異仲要進一步改善。
模姐驗嚇貨
呢篇本質係NVIDIA自家技術棧嘅端到端workflow展示,由prompt到模擬訓練到本地驗證,全部行喺自家產品上面。值得留意嘅係佢明確講「differences between simulation and real-world behavior require further refinement」——即係話,模擬唔等於實用,sim-to-real gap仲要再磨。呢個係誠實嘅,但亦表示呢個demo本身唔構成可商用嘅機械人系統,而係一個技術路線展示。
對香港開發者嚟講,呢個workflow嘅思路——用多個AI代理分工(規劃、資產生成、測試)協作完成一個複雜任務——係值得關注嘅模式。但實際落地要面對算力成本、模擬保真度同物理部署嘅gap,唔係買齊NVIDIA全套產品就即刻得嘅嘢。
模姐|深度調教




