2026 年 10 月 20 日，Fireworks 聯同 fal 公佈咗一個叫 EAGLE-4 嘅技術分析，隨手放出一個公開評測集，專攻「推測式解碼」（speculative decoding）喺創意任務上嘅表現。呢次嘅切入點唔係一般文字對話，而係影像、影片生成。
先交代推測式解碼係乜。大語言模型一次寫一個 token，批次細嘅時候 GPU 因為頻寬限制冇被充分利用；把多個用户嘅請求合併可提升吞吐，但每人體驗到嘅 token 生成速度可能慢落。解法是喺目標模型旁放一個輕量「草稿模型」，由佢先草擬幾個 token，目標模型一次過驗證呢幾個，增加每次讀取模型權重時嘅計算量，同時保留目標模型嘅輸出分佈。
EAGLE 系列正正係其中一個投入生產嘅解碼加速方法：輕量 transformer 接收目標模型嘅隱狀態（hidden states）同 token embedding，訓練佢預測目標模型嘅輸出。EAGLE-3 用三層不同深度嘅隱狀態，加上提升「接受長度」嘅訓練手法。EAGLE-3 問世嗰一年，亦出現咗 DFlash、DSpark 等非自回歸方法，用 mask diffusion 並行起草多個 token。
點解影像、影片模型都要快？因為好幾個生成系統會先做「prompt 擴寫」——把一句簡短請求展開成較詳細嘅場景描述，再送嚟生成。模型越快，擴寫喺總延時嘅佔比就越高：影片可以做到即時生成，但擴寫如冇優化，花喺度嘅時間會超過影片生成本身。呢個階段喺小批次下仍然要快，推測式解碼便係有用嘅工具。
EAGLE-4 沿用 EAGLE-3 嘅思路，喺 Qwen 3.8 27B 上改咗兩點：滑動窗口注意力（sliding-window attention）限制草稿模型注意力層嘅上下文；低秩候選頭（low-rank candidate head）先喺較小表示度評 vocab，再為選中嘅候選計算完整 logits。呢兩改動針對嘅正正係注意力與詞彙評分嘅計算成本。
同放嘅 Prompt Enhancement SpecBench 有 400 個例子，出自 18 個不同數據集，分四類各 100 個：text-to-video、image-to-video、text-to-image、image-to-image。
阿調搞兩下。呢次係技術側嘅更新，重點係為影像、影片生成嘅 prompt 擴寫階段提速，唔係新模型、唔係能力升級。EAGLE-4 有冇實測數據同接受長度提升數字，材料冇提供，本站亦冇實測，留待後續。對用家最實際嘅，係 fal 平台上有冇即時啟用、點算錢、小批次延遲實測係點，呢啲都係要追。
阿調｜深度調教
