10月4日,開發者 Simon Willison 喺本地硬件(一台 DGX Spark)上,重做一個兩年前的實驗。呢個實驗最初由 Colin Frasier 喺約兩年前用 GPT-4o 做過:俾模型做大數加法,但要求佢計完把答案用詞語答出嚟,而數字由小到大、越嚟越大。

呢次 Willison 將 Frasier 的原圖貼入一碼 Codex Remote 會話(GPT-6 Astra),令其用 Qwen3.8-27B 嘅量化版本(Qwen3.8-27B-Q4_K_M.gguf)重跑同一實驗。

測試分兩次。第一次:每組組合跑 30 次、推理(reasoning,即模型作答前先逐段「想」)關。Willison 話佢有信心 GPT-4o 當時冇偷用計算機,「尤其是佢錯咗咁多計算」。第二次:開推理。因為開推理後每對數處理好慢,每個方格只跑一次,即每格只係 100% 或 0%。結果:169 次嘗試答對 167 次。Willison 特別指出呢啲係 one-shot(一次過),再跑一次結果會唔同。

最有意思嘅,係報告入面附咗幾題大數嘅推理軌跡(reasoning traces)。模型喺入面寫「Wait, let me redo this more carefully.」(等我重新做、做細心啲),然後將兩個長串數字對齊,由右至左逐位相加、逐位進位(「write 5, carry 1」)。即人拿筆做數嗰種逐位進位。

呢類「答詞語」實驗嘅價值,正正就係迫模型離開「背答案」——答案要用詞語拼出,要真係逐位處理。但必須講清楚:開推理嘅 167/169 係 one-shot 結果,樣本細、唔穩定,唔構成對 Qwen3.8-27B 能力嘅一般性結論。

模姐驗嚇貨:本地硬件、量化模型、完全受控環境,呢啲係做推理實驗嘅正確姿勢。真正有價值嘅唔係個分數,而係你睇到佢點樣做:逐位對齊、逐位加、進位、發現錯就「等我再算一次」。呢種可檢查嘅推理軌跡,比一個跑唔到嘅跑分都透明。模型幾大幾快係第二層;第一層,係佢可唔可以畀你睇到佢點算嘅。