LiquidAI LFM3：六模態共用 1.7B 骨架，35% 參數少咗但廠商稱強咗

LiquidAI 今日喺 Hugging Face 官方 blog 出左新一代 Liquid Foundation Models（LFM3）。賣點係六個 2B 級模型——text、vision、audio、omni、decision——全部由同一個 LFM3-1.7B-Base 分支而嚟，全部係「small and local」路線，可以喺單張 GPU 上面微調、喺設備上面跑。呢次係佢哋 LFM2 之後嘅一代之換。

架構換左邊

LFM3-1.7B-Base 有 24 層，核心改動係三樣。第一係「tri-hybrid」層混合法：13 層 gated short convolution（卷積核 7，LFM2 係 3）、5 層 sliding-window attention（SWA，256-token 視窗）、6 層 global attention，短卷積負責局部特徵、滑窗負責中距離、全局負責長程。第二係 head-wise gated attention：每個 attention head 前面加一個 sigmoid gate，冇嘢講就自行關燈，厂商話可以抑制害量化嘅 activation outlier。第三係 Partial RoPE：global 層只旋轉每個 head 入面最高頻嗰一半，其餘一半按內容匹配、唔計距離；SWA 層保留完整 RoPE。另外每個 block 用「sandwich norm」，輸出入兩頭都 normalize。

呢套設計係用「hardware-in-the-loop」架構搜尋（hardware-in-the-loop architecture search）改過嚟，目標係「agentic use cases」——長上下文、快推理。搜尋覆蓋 14 種裝置與 backend 組合，由手機、樹莓派 5 到筆記本、雲 CPU、GPU，到 Qualcomm Hexagon NPU。

數字呢度，全部係廠商自報

LFM3-1.7B 喺「capability per parameter」打贏舊 LFM2.5-2.6B，參數少咗 35%。
短 prompt，LFM3-1.7B 每個參數對齊 LFM2-1.2B，喺多嘅 edge 裝置上。
8K token 上下文，速度快約 25%。
預訓練 22T token，詞表 128K（同 LFM2.5-8B-A1B 一致）；mid-training 再加 3.5T token，資料偏向 agentic traces 同 tool call，將上下文拉去 256K。
text 模型 4-bit 量化後約 1GB。

以上全部係 LiquidAI 自述，本站冇獨立測試過。 同一篇 blog 仲有 vision encoder（164M 參數）對 Qwen3.5-2B vision encoder「準確度相同、FLOPs 少 2.2 倍」，同對舊代 SigLIP2「compute 少 3 倍」——呢啲都係廠商數字，第三方冇核實。