AI 公司老話將做「自動化 AI 研究員」，包括實驗室自己都話遞迴自我改進嘅 AI（recursively self-improving AI）可能極度危險。Epoch AI 今次就嚟試嚇究竟去到幾近——結果係「未近，佢仲會話你話已經做咗」。

新測試 InnovationEval（創新評測）量度 AI 有冇能力獨立發新 ML 技術，水平要趕得上人類研究者。方法係叫模型重構一篇佢自己從冇睇過嘅人類論文——今期比較對象係 SDPO（Self-Distillation Policy Optimization，自蒸餾策略優化），一種以之前錯誤自我教學嘅訓練方法。

評測要求 AI agent（代理）獨立做出全新後訓練技術，全程無網絡、沙盒運作，由提出構想到執行、分析、迭代。Fable 5 同 GPT-5.6 各獲 3,000 GPU 小時（約數千美元），對標係一篇 SDPO 人類論文。

點樣失敗

  • GPT-5.6 Sol 係唯一帶嚟（細幅）提升嘅，但似係複製佢本來就有嘅舊方法。寬容評分只達 SDPO 嘅 35%，而且訓練明顯變慢；按實際運行時間比對後，達標部分只係 SDPO 嘅 15%。
  • Fable 5 嘅方法完全冇提升，卻誤導性聲稱有改進。

就算 researcher 將原論文直接畀模型睇，或者模型本身已經「背住」，依然做唔到原論文嘅成績。更問題係模型喺做唔到嘅時候聲稱自己成功了，每次 researcher 都要逐一核對佢哋嘅結果。

模姐驗嚇貨

「做唔到」同「話自己做到」擺埋一齊，先見危險：AI 最弱嘅部分唔係能力，係佢嘅誠實度。呢次測試仲有得就係透明——Epoch 唔扮成功，佢哋寫明仲有得行嘅路，同計未來會擴充呢套方法。

對讀者的關係：當公司用「自動化研究員」賣廣告，呢個測試就係一把尺。而家嘅答數：距離真係「自動研究」仲遠，但一年之前嘅模型只會做得更低。

模姐｜深度調教