最近,何愷明團隊喺新論文《VISTA: A Visual Harness for Reasoning in an Interactive World》提出一套「視覺原生」嘅 Harness,叫 VISTA。簡單講:咗個視覺檔案夾,畀模型可以隨時回看、放大同檢查以前睇過嘅畫面,唔使由頭重訓模型。
以前嘅做法係將環境抽象成文字或代碼,讓模型編程模擬規則;問題係環境越複雜,轉文字越失真,而早期畫面會被逐移出上下文,或被文字摘要替代。VISTA 嘅研究問題就係:如何喺唔額外訓練嘅前提下,讓模型喺推理時重新檢查過去睇到嘅視覺信息?
答案係三個核心組件:視覺觀測(將環境畫面放大提供,例如 ARC-AGI-3 嘅 64×64 官方畫面放大為 512×512 PNG)、無損視覺記憶(每次動作後完整保存所有返回畫面,包括動畫中間幀,按回合號同幀號建索引)、主動視覺檢查(透過 inspect 工具調出特定回合、裁剪放大局部、一次多幀對比)。
模型喺每個回合先觀察當前畫面,若資訊不足可調用工具回看歷史、放大局部甚至讀取像素;找到證據後先預測操作可能帶來嘅變化,執行完畢再將實際結果同預測對比,據此修正對遊戲規則嘅理解。呢個機制論文稱「對交互歷史嘅顯式注意力」。
另外,VISTA 同以往 Anthropic 介紹過嘅 Harness 一樣,喺長時間任務引入兩份文字筆記:GUIDE.md 記錄跨關卡可複用嘅規則,WORKING.md 記錄當前關卡狀態、進度同後續計劃;當上下文接近上限,先整理交接摘要再進入新窗口。
重點:VISTA 冇為此額外訓練一個新模型,環境理解、行動規劃同推理仍由現有模型完成。它改嘅唔係模型本身,而係模型獲取、保存同使用視覺信息嘅方式。
評測方面:搭配 VISTA,Claude Opus 5.0 喺 ARC-AGI-3 嘅 25 個公開遊戲全數通關,相對人類動作效率得分達滿分 100,所用遊戲動作數比首次遊玩嘅人類基線少 57.4%;GPT-5.6 Sol 同樣全通,得分 99。喺 GameWorld 嘅 170 項任務,成功率由官方基礎框架嘅 40.0% 提升至 63.3%;AI GameStore 嘅 10 個遊戲綜合得分由 47.3 升至 140.3(人類中位數歸一化為 100);BabyVision 嘅 39 道迷宮同連線題準確率由 41.0% 升至 63.2%。
論文三位共同第一作者為 Qiushi Han、胡珂雅同 Linlu Qiu,另外兩位為 Cathy Wu 同何愷明。研究將未來驗證方向指向更接物理世界嘅具身任務。
阿調搞兩下:呢個嘅賣點唔係「模型變強」,而係「唔使改模型,加個視覺檔案就夠」。傳統做法將環境轉文字,越長越失真;VISTA 保留原始畫面,需要時再回看,相當於畀 Agent 配咗個可以隨時翻睇嘅相簿。要留意嘅係:以上數據來自論文自身,未有獨立第三方複現;同以往一樣,廠商自報嘅跑分同第三方獨立測試係兩回事。
阿調|深度調教




