微軟研究(Microsoft Research)10 月 29 日更新第 97 期播客《Research Focus》,主持 Sowbhagya Suresh 介紹咗三個新框架。呢期播客係 Microsoft Research Focus 系列嘅 Podcast 版本,同 LinkedIn 嘅 Research Focus newsletter 內容相通。

先講 ForkPilot。呢個係一個「自我改進框架」,重點係學習乜時候要重檢早前嘅決定、換另一條路。佢話喺六個基準測試、多個主流 AI 模型上測過,結果「達到目前最佳方法水平」,同時將 AI 算力需求降低最多 59%。

再講 CABRA。呢個係一個從零開始生成 coding 編程挑戰嘅框架,讓研究員可以控制複雜度逐步上升,揾出 agent 邊樣技術最薄弱。佢話喺數千個生成挑戰中發現:agent 經常靠用工具克服編程難題,但當佢哋需要理解陌生 codebase(現有程式碼庫)時仍然掙扎。結論係:理解現有代碼、而非修改代碼,係開發更有效 coding agent 嘅最大障礙之一。

第三個係 TeleTune,一個教「電腦操作 agent」(即會點擊、打字、填表、瀏覽網頁嘅系統)從用户操作日誌學習可重用技能嘅框架。原文提到操作日誌通常不記錄每次操作背後嘅意圖,而且會把多個任務混在一起。TeleTune 就係為解決呢個問題而設計。

講人話,呢期內容基本係微軟自家研究嘅宣傳。所有測試數據——包括 ForkPilot 嘅 59% 降低、CABRA 嘅千題測試——全部係廠商自評,未有獨立第三方驗證。模姐驗嚇貨:呢啲結果要留意測試條件——邊個模型、邊個版本、邊個測試集——先至可以判斷有幾可信。

模姐驗嚇貨

呢期 Research Focus 係內部研究嘅宣傳,唔係獨立研究。微軟作為廠商,自然希望強調自家框架嘅優勢。讀者如果要跟進,要揾原始論文,核對測試條件,先至可以判斷呢啲框架到底有幾硬。

模姐|深度調教