官方宣稱 Carbon 喺 17 項基準測試有 15 項奪冠,喺 Artificial Analysis 智能指數上追過 Claude Opus 5.5(58 分)同 GPT-6 Astra(57 分),「重奪全球第一」。聽落好似完美答卷,但跟住 Q3 業績同新模型一出,Alphabet 股價盤後一度跌約 10%,市值蒸發 3000 至 4000 億美元。

模姐驗嚇貨,睇下呢個「第一名」到底幾硬淨。

先講強項。官方數據顯示,SWE-sweep(Agent 級代碼修復,即讓模型自己揾 bug 同修復)由 Argon 嘅 4.3% 翻倍到 9.6%;Terminal-Bench 自主操作能力提升到 65.2%;超長文本處理嘅 GraphWalks 得 96.2%,對手最高 71.8%。呢啲係佢哋重點投入嘅垂直領域。

但通用能力上仲有明顯短板。軟件工程 FrontierSWE 2 上,Carbon 61.2%,落後於 GPT-6 Astra 嘅 65.5% 同 Claude Opus 5.5 嘅 62.3%;電腦操作 OSWorld-2.1,Claude 87.2% 對 Carbon 81.5%,只排第二。更關鍵:AA-Omniscience 知識評測子集,幻覺率(即模型「一本正經話癆嗰」嘅概率)由 Argon 嘅 4% 飆升至 11%。

點解跑分勁但體驗未必好?原因好直接呢個數。一個幻覺率 11% 嘅模型,黑客攻防再高分都未夠寫數。

另外,呢個 Carbon 唔係全新預訓練旗艦,係喺 Argon 底座上做專項增強,所以兩週就出到。而呢輪密集發布背後,據 Google CEO 喺播客透露,佢哋主動放棄咗原計劃嘅 Gemini 3.5 Pro,改為用輕量 Flash 模型快速迭代三個月(3.5、3.6、3.7、3.8),再將沉澱能力整合入 Argon。

佢哋仲透露內部新增代碼約 75% 由 AI 生成,研發流程進入所謂 RSI(Recursive Self-Improvement,遞歸自我改進)探索階段。

講到最後,Carbon 而家仲限制開放對象,一般用家暫時試唔到,唯有睇榜單分數。跑分同實際能力之間,呢條線始終存在。


模姐|深度調教