Saluki 27B:細咗幾倍,工具調用反而贏
一個叫 Underdog Saluki 27B 嘅模型公開咗。佢係基於 Qwen3.8-27B 嘅 2-bit 量化版,採用 GGUF 格式,檔案大小隻係 7.89 GB,而原版係 54 GB——細咗大約 7 倍。授權方面,Saluki 27B 採用 Apache 2.0。
根據披露嘅測試結果,Saluki 27B 喺工具調用(tool calling,即模型呼叫外部工具或 API 嘅能力)上勝過原版 Qwen3.8-27B。但喺數學與推理方面,量化版就唔敵原版。
呢個案例反映出量化嘅典型權衡:壓縮到極低精度可以大幅縮小模型體積,有利本地部署,但唔同能力嘅受影響程度唔一致——有嘅任務(如工具調用)未必會因量化而受損,有嘅(如需要多步推理嘅數學)則明顯受影響。
值得留意:2-bit 量化係目前量化級別入面最激進嘅之一,通常會帶來明顯能力下降。Saluki 27B 喺特定任務上能保持甚至超越原版,值得關注但亦要留意測試範圍。
模姐|深度調教




