GitHub 喺 2026 年 10 月 5 日開放 ReviewBench，一個專為 AI 程式碼審查（code review agent）設計嘅離線評測基準。呢個 benchmark 嘅完整數據集已向公眾開放，供各團隊接入並提交結果。
數據集由 187 個公開開源授權 repo 嘅 219 條 pull request 組成，涵蓋 19 種程式語言。GitHub 指，語言同 repo 規模分佈係根據對 1.039 億筆 GitHub 真實 PR 嘅分析，使 ReviewBench 跟隨 GitHub 整體分佈。同時，PR 體量向「可審查嘅中尾段」傾斜，減少單檔案細改動嘅過量代表，保留更多實質嘅多檔案 PR，因為「review quality matters most」。
ReviewBench 嘅建構原則包括：PR 數據集要有真實代表性，唔係單單嘅展示集；同埋 ground truth 要廣泛且獨立判斷。GitHub 指 golden set 由三個階段過程建立，而 ReviewBench 整體由資深工程師獨立驗證。
喺實際應用上，GitHub 稱 ReviewBench 已用於離線評估自家嘅 Copilot code review（CCR），並幫助更準確預先判斷生產環境實驗方向。GitHub 指呢個過程令佢哋更有信心，「measured improvements reflect meaningful gains for users」。GitHub 亦歡迎其他團隊將自己嘅 code review 系統接入 ReviewBench 並提交結果。
阿調搞兩下
一個 open benchmark 嘅價值，唔單止喺出題，更喺可被獨立重現。GitHub 指 golden set 由資深工程師獨立驗證。對外界而言，「獨立」嘅定義、驗證人背景同方法，係後續可以跟進嘅問題。
如果呢個基準真係想成為業界比較 AI 審查代理嘅共同語言，有冇其他團隊真係用咗、結果有冇被第三方重現、評分準則有冇隨版本透明化，呢啲先係關鍵。考卷可以公開，但改卷嘅權限同標準，值得跟住睇。
阿調｜深度調教
