生圖嘅擴散模型，做低成 Agent 啦？
2026 年 10 月 29 日，港大孔令鵬教授同佢嘅博士生、擴散智能（Diffusion Intelligence）團隊發布咗全新「擴散語言模型」Clover-35B-A3B-Preview。呢個模型最特別嘅地方，就係佢唔用大家 familiar 嘅自回歸（Autoregressive，逐個 token 接龍）做法，而係用「擴散」——就係嗰套原本生圖、生影片先至用嘅去噪方法——嚟生成文字、寫 code、調用工具。
講清楚啲：自回歸模型係「一個字接一個字」，前文推後文，逐 token 串行生成，大家都叫「詞語接龍」；擴散語言模型則喺多個位置同時更新，再經幾輪去噪逐步收斂。Clover 用嘅係「塊擴散」（block diffusion）：將待生成內容切分成若干塊，塊與塊循序推進，塊內多個位置並行參考。理論上，每輪計算就推動多個位置，減少逐 token 等待。
佢話自己幾快？
團隊喺 WindTunnel 網頁 Agent 評測（49 項任務，每項試 3 次）做咗一個速度對比：
- Clover：中位執行時間 1.52 秒，成功率 98.6%
- Jev ＋ Mercury 2.5 組合：中位 3.21 秒，成功率 95.9%
即 Clover 比 Jev 組合快咗一半幾，成功率還高嘚。同表入面嘅 Gemini 比，團隊聲稱速度「快了好幾倍」。
Code 方面，團隊公佈嘅跑分：
- SWE-bench Verified（真實 code repo 解決能力）：73.6
- Terminal-Bench 2.1（終端任務執行）：51.7
工具調用方面，τ³ Overall 65.3，BFCL-v4 67.9。
呢度要拎清：上面所有數字，都係團隊自己提供。 本站冇執行過獨立測試，亦冇看到第三方核驗。廠商示範 clip 同實際使用體驗係兩碼事。
技術上點做？
Clover 採 MoE（稀疏專家）架構，總參數 350 億，每個 token 實際激活約 30 億，支持思考模式。呢個規模，係將團隊 2025 年 4 月嘅 Dream 7B（70 億）擴大咗近 5 倍。
關鍵改良喺「門控 Delta 網絡」（Gated Delta Network，GDN）：已經生成嘅上下文被壓縮進持續更新嘅狀態，供後步讀取；當前生成嘅塊用雙向注意力（bidirectional attention）令塊內 token 相互參考。歷史記憶嘅讀出被設計成獨立信息單元，同當前 token 一齊參與注意力計算，再經可學習嘅塊大小校準，減少塊變大後歷史信息被稀釋。
官方演示包括：經 WebMCP 連續處理六項任務（開票、課程報名、金額匯總、活動狀態查詢、客户同發票查詢）；喺網上購物場景揾指定款式、黑色、L 碼 T-shirt 入購物車、填寫訪客資料、走完測試結帳流程。團隊表示，呢啲連續操作係重點——以往擴散模型喺 Agent 任務上，工具調用格式容易出錯、亦容易卡喺同一步驟循環，唔知根據回傳調整。
背景：唔止佢一個玩呢條路
擴散語言模型近年有幾條路線：何愷明今年參與嘅 ELF，試喺連續嵌入空間生成語言；Google 嘅 DiffusionGemma，探索並行文本生成；內地大廠都喺研究面向 code 任務嘅擴散語言模型。各自方法唔同。
Clover 團隊嘅路線由 2022 年嘅 DiffuSeq（如何用擴散模型做序列到序列文本生成）開始，2025 年 4 月 Dream 7B，而家到 Clover 35B。團隊話下一步係多模態版本、端側（端上）場景適配，同 Acrab 嘅合作喺推進端側系統同軟硬體協同驗證。
阿調搞兩下
一個用嚟生圖嘅去噪方法，而家被人拿去寫 code、按掣、買衫。技術上唔係冇道理：並行生成如果真係快，Agent 呢種要反覆調工具嘅場景，就係最快受惠嘅。但「快」先係第一關，仲要問：連續做十幾步、每步都攞上一步回傳做下一步輸入，呢個模型會唔會越做越離譜？團隊話佢改咗 GDN 去處理，但冇獨立測試之前，呢句先係廠商聲稱，唔係事實。
仲有一樣要問：呢啲跑分數據集係邊個維護、有冇可能因為測試條件未完全透明而產生偏差？獨立第三方測試仲冇，所以一切結論都係「暫時」嘅。
另外，呢個係 Preview 版本，仲唔知正式版本幾時出、權重有冇開放下載、授權條款點。想揾資料用嘅朋友，留低個位置慢慢跟。
