南京大學、商湯(SenseTime)同多間大學嘅研究團隊呢日發布 OpenMobile-2,一個開放嘅手機 AI Agent(即能夠自己操作手機App嘅AI系統)訓練項目。佢哋同時放出兩個模型——基於 Qwen3.5 嘅9B版本同基於 Qwen3.6 嘅27B版本——連同完整訓練環境、數據同重現指引,全部開源。

點解要重建App而唔使真App

喺真App上訓練有幾個大問題:要登入、會產生真實交易、又冇辦法重置狀態,既貴又難以重複。研究團隊於是重建咗35個主要在內地流行嘅App,包括淘寶、京東、滴滴、美團,加上 Slack、Google Drive 等環球服務。配合已有模擬同Android模擬器上嘅App,整個訓練環境覆蓋超過110個應用程式。

人工審核員逐個對照重建App同原版,反覆修正至工作流程同界面一致。訂單、預算、行程等數據會喺不同session間保留,App之間可經剪貼簿傳遞數據。每次模擬會自動重置回初始狀態,而Agent只能睇截圖、無法存取App內部數據,模仿真人使用嘅方式。

基於呢個環境,團隊生成咗約11,600個示範工作流程同超過2,000個自動成功檢定嘅練習任務。Google嘅 Gemini 3.1 Pro 擔任教師模型(teacher model)生成示範例子,即 OpenMobile-2 實際上係喺學一個封閉系統。

OpenMobile-2:110多個模擬App訓練環境練出開源手機Agent,真機SPA-Bench攞59.6分 圖片:SenseTime/CC BY-SA 4.0/Wikimedia Commons

實機表現提升最大

兩個模型喺既有基準測試上都有明顯提升:

  • AndroidWorld:大模型由67.1升至79.9分,小模型由54.3升至74分(前代OpenMobile-1喺同一測試係64.7分)。
  • MobileWorld(覆蓋跨App長任務嘅較難測試):大模型由35.9升至50.4分。
  • SPA-Bench(真Android設備):大模型由31.9升至59.6分,研究人員稱呢個係目前開源模型最高分。

App種類比數據量重要

研究團隊喺保持數據量不變嘅情況下,只增加Agent練習嘅App數量,未見過App嘅成功率由60.7%升至67.5%。即係話,同樣嘅數據預算,練多幾款App比喺幾款App上加碼更有用。

另外,喺上層加強化學習(reinforcement learning)帶來的提升有限,主要集中喺同訓練環境類似嘅情境。

阿調搞兩下

呢個項目最靚嘅地方唔係分數,係佢哋將個訓練環境連數據、指引全部放開,俾人可以重現。大公司嘅手機Agent數據鎖喺屋企,開源模型一直跟唔到;呢班人重建35個App、再配合模擬環境至110多個應用,硬係開咗條路。不過「開源最高分」呢個講法出自研究團隊本身,讀者要有個數。Gemini 3.1 Pro做教師模型呢個設計,即係話呢個「開源」系統底層學嘅係一個封閉模型嘅輸出,呢層關係值得持續留意。


阿調|深度調教