清記憶反而考高分?微軟研究就係咁。
Microsoft Research 發表一項研究,研究對象係佢哋所謂嘅「Autoresearch agents」——會不斷提出解法、自我評估、再根據反饋改進嘅 AI 系統。研究指出,同一個 agent 喺同一任務跑八次獨立運行,最終分數由 68.3 到 100.0 落差巨大,而呢個落差即使用更多算力都冇辦法拉平。
問題出喺「idea basins」,即「思路盆地」。研究人員將所有運行嘅解法畫喺一張二維地圖,相似解法排埋一齊。結果發現,單次運行嘅解法幾乎永遠停留喺地圖嘅一小塊區域。agent 將剩餘算力大部分用嚟打磨一個次優區域嘅方案,而唔係去探索其他運行已經發現嘅更好方向。即使用户定期壓縮對話歷史,呢個現象都會持續。
研究團隊提出「Fork-and-Flush」方法,結合兩個機制。第一步「forking」(分叉):將一個 agent 拆成 K 個平行分支,每個分支都繼承原有工作區及所有已生成檔案。第二步「flushing」(清空):每個分支清走全部對話上下文,但保留工作區。這樣每個分支可以開全新對話,繼續喺先前工作之上發展。
研究指出,如果分支保留父程序的對話上下文,佢哋就會傾向返回同一個「思路盆地」,因為先前嘅推理路徑會牽引下一步方向。清空上下文令搜索恢復多樣性,代碼、檔案同已保存結果依然留喺工作區。
測試喺 13 個長程任務上進行,包括 polyomino packing、job-shop scheduling、cryptanalysis、壓縮 CIFAR 分類器同優化 VLIW kernel,單次運行由數小時至超過 100 小時,模型用 GPT-5.6-terra 同 GPT-5.5,透過 GitHub Copilot CLI 執行。
喺相同算力預算下,Fork-and-Flush 嘅 min-max 標準化平均分數達 0.78,對比單次運行嘅 0.47 同 best-of-4 嘅 0.54,相對提升分別為 66.0% 同 44.4%。13 項任務入面有 12 項,呢個方法取得最高平均分數。
結果亦更穩定:標準化標準差由單次運行嘅 0.26 降至 0.16。研究亦指出,單是清空上下文而唔分叉,已可令結果改善 22%。
研究人員亦測試咗更強模型能否自動避開「思路盆地」,用 MAX-3-SAT 問題,跨 Qwen3.5-4B、9B、27B 三個尺寸。運行間變異度呈倒 U 型曲線,喺模型能力邊界任務上達峰值。作者認為,未解決嘅研究問題按定義就處於模型能力極限,因此預期隨著模型提升,Fork-and-Flush 所利用嘅呢種變異特性仍會持續。
阿調搞兩下
呢個發現其實唔意外。任何做過 group project 嘅人都知道,一幫人困喺同一個會議室開完四個鐘,思路只會越收越窄。Fork-and-Flush 本質上就係強制「換腦」——保留筆記(工作區)但清空思維慣性(上下文),再俾多幾個人各走各嘅方向。
值得留意嘅係,研究指即使用壓縮上下文(而非完全清空),agent 依然會返回同一個盆地。即係話,「縮短對話」同「清空對話」係兩樣嘢,前啲後者完全唔同。對於任何用 AI agent 做長程研究或開發嘅團隊,呢個發現直接影響 workflow 設計——唔係算力不夠,係思路卡死。
研究目前為 Microsoft Research 內部論文,尚未獨立複製。GPT-5.6-terra 具體規格及 GitHub Copilot CLI 相關功能入口,讀者可留意官方 release notes。
阿調|深度調教




