Google DeepMind 正式發布新一代世界模型 Genie 4,除咗實時生成可交互環境,今次最有意義嘅設計係:Genie 4 負責「生成世界」,Gemini 3.8 Flash 負責觀察畫面、拆解任務,再根據執行情況調整計劃。DeepMind 亦展示了 Gemini 4 Argon 同 Genie 4 嘅組合,令模擬環境入面嘅 Apollo 人形機械人完成跳棋任務,新任務指令可以持續加入,改變後續事件。
先講下技術底子。Genie 3 已能以 720p 解析度、每秒 24 幀生成可交互環境,採用自回歸方式,將之前視覺歷史同用户操作作為條件輸入,並支持 Promptable World Events,容許用户用文字改變天氣或添加物件。但過去,模型主要係根據歷史畫面同用户操作生成後續場景,Genie 4 將呢種交互擴展到持續運行嘅任務過程中——Argon 可將複雜任務拆解成連續步驟,透過 Interleaved Text Captions 將新文字條件交錯送入生成模型。
呢個帶來三個互相牽連嘅技術挑戰。
第一,動態語言條件點樣約束環境演化。模型生成下一段環境變化時,要同時結合歷史視覺、控制動作同當前生效嘅語言條件。例如 Apollo 機械人完成抓取後,新指令要求將棋子移至指定位置,指令要改變機械臂同相關棋子嘅後續運動,卻不能擾動棋盤上無關對象。DeepMind 尚未披露 Genie 4 完整網絡結構,亦冇説明 Interleaved Text Captions 究竟透過點樣嘅注意力機制、狀態快取或條件融合方式進入生成網絡。
第二,因果錯覺,即「指鹿為馬」陷阱。生成式世界模型學嘅係感官資訊隨時間變化嘅規律,即使生成咗視覺連貫嘅抓取過程,都唔代表接觸同受力關係符合物理約束。當任務描述要求操作成功,生成結果可能被目標語義影響,Gemini 又根據呢啲結果判斷成敗,最終形成自我確認循環。文章指出,若無外掛嘅「因果核驗」同獨立「動力學引擎」,Agent 根本學唔到真正物理邊界。
第三,異步協作。Genie 4 持續生成畫面、運動同聲音,Gemini 3.8 Flash 要讀取環境、分析進度、產生後續指令,兩者運行時間尺度唔同,毫秒級延遲下點樣保持穩定協作,DeepMind 亦未公開具體調度實現。
阿調搞兩下:三個問題,DeepMind 都未公開核心實現。裁判同運動員都係 AI,物理常識被視覺連貫性綁架,呢個陷阱真係好值得留意。邊個核實過因果?
阿調|深度調教




