乜嘢係 AgentGarten

MirroS 團隊最近發布咗一個叫 AgentGarten 嘅系統，將可執行程式碼環境同即時神經渲染器連埋，以超過 30 fps 嘅吞吐量，令 AI 智能體可以喺模擬環境不斷同世界互動。簡單講：程式碼管物理規則，擴散模型（一種可即時生成影像嘅 AI 模型）負責畫出擬真畫面，兩者配合，令 AI 可以觀察自己行為嘅後果再決定下一步。

呢個嘅核心思路係：想 AI 真正理解物理世界，唔可以淨係俾佢睇影片。智能體要親自「落場」，做動作、睇結果、再調整，呢個先至係有效學習。

點解要咁做

目前主流有兩條路徑，各有短板：

  • 程式碼／遊戲引擎環境：物理規則精準透明，但場景通常只有粗糙幾何白模，要建上百個擬真環境，美術建模成本極高。
  • 影片生成世界模型：畫面靚，但物理資訊隱含喺神經網絡記憶入面，無法查詢、無法干預，例如想知杯入面仲有幾多水就查唔到。

MirroS 嘅解法係將兩者分開：物理交俾程式碼，光影交俾神經模型，各管各嘅。

捉迷藏實驗：4 輪 vs 2500 萬局

團隊重做咗 OpenAI 2019 年嘅捉迷藏實驗。智能體用 Python 程式碼控制移動，只靠鏡頭畫面做決定，唔知空間坐標亦唔知對手位置。每輪打十局，打完自己寫「實驗手冊」，下一輪帶住呢啲經驗繼續。

結果：

  • 躲藏者喺第 4 輪學識搬擋板搭掩體；搜尋者喺第 10 輪學識借坡道翻牆。
  • 對比 2019 年 OpenAI 研究：AI 靠純強化學習，學搭掩體要約 2500 萬局，學翻牆要約 1 億局。

智能體寫喺手冊嘅內容頗有趣，例如躲藏者寫到「防守核心係堵住通道，唔單止擋住視線」；搜尋者寫到「搬嘢前先試拉一下，唔好將卡死當抓穩」。

同一套流程，換四個世界再跑

除咗捉迷藏，團隊喺另外四個場景各跑咗四輪：

  • 陪伴小狗：60 秒內維持好感度，得分由第 1 輪 13 分升至第 4 輪 19 分。
  • 狹橋會車：兩車喺單車道協商錯車，總耗時由 71 秒降至 41 秒。
  • 合作牧羊：兩隻牧羊犬將四隻羊趕入圈並維持 5 秒，由第 1 輪僅圈入三隻，到後三輪全部圈入。
  • 採石場裝載機：推石、送料、入庫全流程，第 4 輪喺 360 秒時限內提前 31 秒完成。

阿調搞兩下

呢個思路值得留意：唔係讓 AI 一次過學完，而係建一個可以反覆練習嘅環境，再令佢自己寫筆記、自己回顧。呢個「邊玩邊記」嘅機制，同真人學習嘅流程好似——唔係背書，係實戰中積累。

值得跟進嘅問題：呢個系統而家係研究階段定已對外開放？代碼話喺 GitHub（MirroS-Lab/AgentGarten），可以自去睇。另外，渲染器嘅即時性同穩定性喺更複雜場景下會唔會出現物理不一致，仲要持續觀察。

阿調｜深度調教