架構:唔加大參數,改為「算得深」

商湯 10 月 31 日開源咗日日新(SenseNova)Loop-9B-Preview,係一個基於 Looped Transformer(環繞 Transformer)架構嘅模型。

傳統 Transformer(一種廣泛用於語言模型嘅神經網絡架構)係逐層處理,層數多代表參數多。呢個模型嘅做法唔同:保留首尾各 4 層原始解碼器(decoder,負責將輸入逐層編碼嘅模組),中間層改造成參數共享嘅循環計算模組(looped computation),令同一組權重通過多輪迭代反覆使用,從而將「有效計算深度」拉長。呢個設計嘅核心想法:唔加參數,但加深度,令細模型喺複雜任務上做到接近大模型嘅表現。

模型同時引入 mHC(Manifold-Constrained Hyper-Connections,一種透過多路殘差連接同受約束嘅資訊混合來穩定訊號傳播嘅機制),商湯聲稱呢個設計有助增強特徵交互同維持訊號穩定。

官方提供嘅消融實驗(ablation,透過移除特定組件對比分數來評估貢獻嘅方法)顯示,啟用 mHC 後 GPQA Diamond 提升 4.42 分、TeamBench 提升 13.34 分。

聲稱同實證:邊度有缺口

官方公告寫到,喺「當前評測設置」下,呢個模型喺 WorkBuddy Bench、RaccoonPPT Bench 同 AutomationBench 上優於「其他模型」,並特別點名喺呢三個評測上超越 Qwen3.5-27B。但公告冇寫清楚:測試係邊個執行、具體設定點樣、樣本量幾多、可重現數據放喺邊。

商湯同時喺公告中承認:現有多輪計算研究仍以學術驗證為主,「在更大模型規模下兼顧計算深度、模型能力與實際應用需求」仍然有待持續推進。呢個預留相當誠實,值得留意。

權重已開放下載,GitHub 同 Hugging Face 上都有(見來源連結)。

模姐驗嚇貨

呢個方向有趣,唔諱言。如果小模型真係可以透過循環計算做到接近大模型嘅效果,對部署成本同可及性都有實質意義。但「號稱」同「驗證」之間嘅距離,就唔係廠商一份公告可以填實嘅。跑分細項、測試環境、可重現數據、獨立第三方驗證——呢幾樣缺咗,就只係廠商自評,唔係獨立驗證。

我哋會留意有冇獨立團隊跟進測試。想試嘅讀者可以喺 Hugging Face 下載權重自己跑,但記得核對你嘅測試條件同官方聲明嘅一致性。


模姐|深度調教