開晒嘅考場：CWE-bench v2
2026 年 11 月 3 日，Collinear AI 喺 Hugging Face 上線 CWE-bench v2，一個測試大模型「cyber capabilities」（前沿網絡能力）嘅基準。同 v1 一樣，考題係畀一個 agent（代理，即能夠執行多步驟任務嘅 AI 系統）一隻真實開源倉庫同一條短指令，要佢揾出並補上保安漏洞，而且唔可以將原有功能改壞。
呢次嘅分別係公開晒。100 項任務全部開放，任何人可以跑、可以重複，評分完全程序化（programmatic），點樣判、點樣計，都係定死嘅，唔會出現「跑兩次兩個數」嘅事。100 項任務覆蓋 91 種 CWE（Common Weakness Enumeration，常見軟弱點分類），即係唔止考你認唔識某一個漏洞 pattern，而係要你睇穿攻擊者可以由邊多條線入嚟。
點樣算「好題」
Collinear 話每項任務都逐條核過六件事：指令讀落像唔像真實開發需求而唔係考場語言、可評分之行為可否由指令推斷、驗證器驗係「做對」定係「照某一個特定寫法修」、starter 代碼失敗而 reference 修復能過、原有功能喺修復後仍保留、以及驗證器會否打回「背題」（即已知的上游 patch）。佢哋仲話每題都人手審過，而且留咗一個 held-out 集（測試時唔畀模型見到嘅題目）繼續跟進行。想喺 held-out 集測試，要 mail 佢哋。
呢啲就係廠商自己嘅聲稱。我哋未跑過呢個 benchmark，亦未審過題目；下文數字都係嚟自佢哋嘅 leaderboard。
成績表：頭名都差得嚟
11 個模型入場，包括開放權重同純 API（Gemini、Claude、GPT）兩類。Gemini 4 Argon 以 67.8% pass@1、81.0% pass@4 排頭，緊貼其後嘅係 Claude Opus 5.5（67.3%、78.0%）。
100 題入面 95 題由至少一個模型解到，證明題目並非死題；但即使頭名，每次嘗試都漏走 19%。即係話，最勁嗰模型都仲有咗唔少嘅漏洞面唔能處理，長尾（long tail）距離解決尚遠。
成本曲線
Collinear 列出三個模型構成所謂 Pareto frontier（成本對效能嘅前沿）：DeepSeek V4.1 Flash（1017）喺 $0.04/rollout 做到 57.0% pass@1；Claude Opus 5.5 喺 $1.83/rollout 做到約 67%；Gemini 4 Argon 喺 $3.92/rollout 做到 67.8%。即係由最平去到最勁，大約 98 倍成本換取 10 個百分點。呢個係廠商提供嘅數字，未獨立核對。
模姐驗嚇貨
呢個 benchmark 值得留意嘅地方，唔係「乜模型最勁」，而係佢敢將全部考題、驗證器同 harness 公開，仲留一支測試時唔畀人睇嘅題做 held-out。呢個做法少見。
要記緊三件事：
第一，頭名 67.8% pass@1 係廠商自己 leaderboard 上嘅數字，我哋未獨立複現；
第三，佢哋話「recognising a familiar pattern is not enough」，但 100 題覆蓋 91 種 CWE，即平均有一種 CWE 對應一題，對於真正嘅攻擊面而言係唔夠嘅。
邊個模型真係可以幫你做 defensive coding，唔係一個 benchmark 可以答完嘅問題。
模姐｜深度調教
