老想法，新問題：AI 信唔信得過自己？
Ai2 今個月喺 Hugging Face 發表研究《Old Ideas, Novel Problems》，測試大型語言模型（LLM，large language model）喺判斷科學研究想法「新舊」方面有幾可靠。研究隨附一個基準測試（benchmark）、數據、測試代碼，以及一條可以幫研究員建評測集嘅自動化流水線。
Ai2 一直朝自動化科學發現發展：DataVoyager 幫研究員探索同分析結構化數據、AutoDiscovery 生成同測試假設、Theorizer 跨大量文獻綜合證據形成候選理論，加上 Asta，指向由理解前人工作，到提出、測試、修正新想法嘅系統。但研究指，光會產生想法唔夠——個想法要真係有貢獻，系統就得有個方法，分清「真創新」同「重新包裝舊貨」。呢個判斷通常由另一個 LLM 負責，即所謂「novelty judge」（新舊評審模型）。
呢份評審，點解唔可靠？
問題係，冇統一做法。各團隊自己揀模型、提示詞（prompt）、評審格式、推理預算、有時仲加文獻檢索（retrieval），而呢啲選擇會實質影響結論。更微妙的是，呢啻評審模型通常只用人類寫嘅論文去驗證，而非佢哋真正要評嘅 AI 生成想法。
研究測試咗 6 個 LLM 評審：GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6。結果顯示，對同一個想法，測試環境嘅微小改變會產生巨大分歧：其中一個實驗，改動 prompt 僅幾個字，就令模型分辨「兩個想法邊個更新」嘅準確度變化超過 50 個百分點。加入檢索（retrieval）同額外推理並冇令判斷一致改善；兩個專為新舊評審而建嘅系統，反而輸給一個簡單加 prompt 嘅 Claude Opus 4.6 baseline。
評測集點出嚟？
要測評審模型有冇能力分辨「更新」同「較舊」嘅研究想法，首先需要有強證據顯示其原創性嘅例子。研究團隊圍繞 ICLR 2026 嘅同儕評審（peer review）建咗一條自動化流水線。佢哋冇將論文獲悉（accept）等同 novelty——一篇論文可以憑其他方面夠強而獲悉，即使未必多新；反之，一篇被拒論文可以有原創貢獻，只是其他方面有弱點。因此團隊直接翻評審文本，揀出評審員明確討論原創性嘅段落。
高 novelty 池包括 154 個人類創作嘅研究想法：由 ICLR 研究領域入面評分最高 10% 嘅獲悉論文中，揀出評審員正面認定 novelty、且冇評審員提出異議嘅例子。低 novelty 池則用相反標準建立。
如果 AI 喺科學發現中扮演更大角色，我需要更可靠嘅方法，判斷佢係咪真係提出新嘢。呢份研究提供研究該問題嘅工具，同時顯示仲有多少未解決。
模姐驗嚇貨：呢個研究唔係講邊個模型「更強」，佢指出嘅係——判斷「新舊」呢個任務本身，喺 LLM 身上仲未成熟。一個 prompt 改幾個字就換一副答案，呢個唔係精度問題，係穩定性問題。對研究員嘅意思係：目前任何由 LLM 自動產生嘅「新舊」標籤，都唔應該被當作結論，而只能當作待人工複核嘅候選。
模姐｜深度調教
