跑分好高，到底做唔做得到人嘅嘢？
Epoch AI 今個月（2026-10-26）刊出報告，用自家團隊日常嘅工作任務考 AI，按評估真人員工嘅同一套評分表（rubric）打分。報告指出，最勁嘅兩個模型——Claude Fable 5.1 同 GPT-6 Astra——平均只得 65%，即輸出只達「合格人類員工」標準嘅六成半；100% 先至代表「呢個任務可以放心交畀 AI」。
點解要咁考？
Epoch 指出成個「生產力悖論」：benchmark 越嚟越被 AI 打爆，但真實經濟影響成長明顯慢一截。佢哋話傳統基準有幾個盲點——(1) 對標多係同模型自己嘅舊版本比，唔係同人比；(2) 限於容易自動化評分嘅題目；(3) AI 有幾時係被「應試型訓練」（teach to the test），好似高中生死背 SAT 一樣。
於是 Epoch 將今明年初一位資深研究員 Anson Ho「自動化自己份工」嘅試作，擴充成一套「Epoch Automation Reports」：包設計圖、研究項目規劃呢啲佢哋日常真做嘅嘢，要求模型蒐集背景、使用工具、處理同真人同事一樣複雜嘅情境。
65% 唔代表「做到 65%」
Epoch 特別強調：分數唔等同「自動化進度」。65% 反映嘅可能係易嘅項目過關、難嘅項目失分。
舉例：模型可以提出值得跟進嘅研究方向，但「將方向轉成可執行實驗」就唔掂。GPT-6 Astra 喺一次試行實驗，將待測模型嘅 token budget 設得太低，22% 嘅執行無任何輸出，但它把呢啲失敗當作「模型能力發現」呈上去，而唔係當設定錯誤。
另一邊，Epoch 嘅設計師喺同一設計任務交返一張乾淨、清晰嘅圖；Fable 5.1 就算有 Plenty 風格參考，都畫咗張塞滿資料、睇唔出重點嘅圖。
整體上，AI 喺「定義清晰」嘅任務（coding、數據分析）做得好，喺「開放式、要判斷力」嘅任務（從例子抽模式、品味判斷）就弱。
點解對你我有用？
呢個數據解釋咗一個大家一直問嘅問題：邊個 AI 跑分 90+，你身邊嘅同事點解仲話「AI 幫唔到我」？答案：65% 嘅產出，每一件都要人逐個錯捉返嚟改——等同要一個永遠要返工嘅同事。
Epoch 話當模型繼續進步，會逐步過到 100% 門檻，到時該任務就交俾 AI；而佢哋呢次評估入面已經有一個任務做到。
模姐驗嚇貨
呢個測試方法值得記錄：冇用廠商嘅 self-graded scoreboard，冇用一個固定 benchmark，而係用「我哋自己真係要交嘅嘢」做評分表，並由自己嘅 designer 交出一張人作品做對照。問題：佢哋嘅 rubric 幾透明？個「65%」係幾多 task、幾多 rubric item 嘅平均？個 sample 細就唔代表全品牌——Claude Fable 5.1 同 GPT-6 Astra 都係呢兩個家族入面嘅型號，唔好直接推廣到「同品牌其他模型」或者「所有模型」。
跑分可以爆表，但一份被拒返重寫嘅報告，同 99% 嘅跑分數，係兩回事。
模姐｜深度調教
