推理越長，越食顯存，呢個係最近一兩年 AI 部署最大嘅痛點。岩山科技旗下岩芯矩陣聯同港科大、CMU 等高校，喺 10 月 26 日發布並開源咗一個叫 EdgeRock-4B 嘅模型，賣點就係「推理再長，內存不漲」。
點解長推理會蝕錢
而家多數模型（例如 Qwen3.5-4B）將推理歷史存喺 KV Cache（模型生成每個 token 時要暫存嘅鍵值對）入面，每多生成一個 token 就多存少少。以 Qwen3.5-4B 為例，每個 token 新增 32 KiB，推理到 256K 就係 8 GiB 一條序列。推理模型越「深度思考」，輸出幾萬 token，Agent（代理）一跑幾十輪工具調用，上下文越滾越長，一張卡能同時處理嘅請求就隨之減少。
EdgeRock-4B 嘅做法係令每條序列嘅歷史狀態固定喺 97.76 MiB，注意力 KV 固定 72 MiB，唔隨長度變化。
一卡 512 路長推理
測試設定：32K 輸入、32K 輸出，全部喺單張 Hopper 80GB GPU 上跑，各取實測最快 batch。
- EdgeRock-4B：512 路並發，輸出吞吐 12124 tokens/s，峰值顯存 61.26 GiB（含模型權重）
- Qwen3.5-4B：batch 64，1889 tokens/s
- Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B：1700–2200 tokens/s 之間
喺 4K–32K 輸入輸出嘅 16 種組合下，batch 由 32 加到 512，加權解碼吞吐由 4128 漲到 12497 tokens/s，峰值顯存未碰到單卡上限。
單條請求方面，EdgeRock 喺 128K 輸入後再生成 128K token，速度穩喺 233.7 tokens/s；Qwen3.5-4B 則由 169 左右一路跌至 151.3 tokens/s。
智商有冇打折
團隊將 EdgeRock-4B 同 16 個有界狀態模型（GDN、RWKV、Mamba 等路線，三個 14B 級）比較：
- AIME 2024–2026 平均一次通過率 82.9%，對照組最強嘅 RWKV-7 G1j 13.3B 只有 18.8%
- 29 項文本基準中 24 項排名有界狀態模型第一；等權均值高出 AHN-GDN Qwen2.5 14B 達 23.8 個百分點
- 對源模型：AIME 保持 Qwen3.5-4B 嘅 96.3%，MATH-500 達 97.5%；29 項文本基準中 8 項反超（包括 MMLU-Pro、SuperGPQA、HumanEval、MBPP）；六項視覺基準平均 84.9%，保留 Qwen3.5-4B 嘅 95.3%
成本方面，EdgeRock 喺 4K 輸入時只需要 Qwen3.5-4B 24.9% 嘅 GPU 時間，32K 輸入時只需 15.6%。
背後的「岩錨」機制
核心係一種叫 Rock Memory Anchors（RMA，記憶岩錨）嘅機制：每條序列嘅歷史分三部分——循環狀態、最近 1024 token 嘅局部窗口、加一個固定容量嘅錨點庫。寫入器為每個 token 生成候選記錄，評分網絡打分，每 256 條候選就同已有錨點比較，只留最高分嘅 1024 條。四個 KV 組各自獨立。
架構上係由 Qwen3.5-4B 分階段改造：保留 24 個 Gated DeltaNet 層，將 8 個全注意力層換成 1024 窗口嘅滑動窗口注意力，另加獨立 RMA 模組。模型權重同推理代碼已開源，支持文本同圖像推理。
模姐驗嚇貨：呢度嘅測試數字由廠商及研究方公佈，本站未獨立重現。RMA 機制喺極長跨域推理、多輪工具調用下嘅實際表現，仲要有第三方可重現嘅評估先至算真正驗證。「開放」二字指模型權重同推理代碼可公開取得，授權條款同商用限制要自行查閲官方文件。
模姐｜深度調教
