用前沿大模型跑一個 agentic assistant，好得意，但開單會心痛。一個代理任務唔係一次 model call 咁簡單，而係一個 loop：搜尋、讀結果、再檢索、驗證、先至落單。一個完整嘅電商助手處理「幫我揾一個二十美元以下、由評分 4.5 星以上店舖賣嘅黑色腰包」，可能要同個前沿模型來回叫幾次，每一次 call、每一個 shopper 都係要交錢。規模一放大，個成本就複合累積，ROI 逐步被蝕，項目最後唔出街。呢個就係用前沿模型做生產級 agentic 應用嘅真實痛點。
細模型快又平，但質量跟唔住，所以最初先揀大模型。知識蒸餾（knowledge distillation，KD）就係填呢個 gap 嘅方法：把大「老師」模型嘅行為「蒸餾」入細「學生」模型，訓練佢模仿老師嘅輸出，令佢在小模型嘅速度同成本下面，保留大部分嘅能力。
點解係序列級（SeqKD）？
普通文本蒸餾只搬一段答案，但 agentic 任務要搬嘅係一連串行為。SeqKD（sequence-level knowledge distillation）就係最直接嘅形式：
- 老師模型生成高質量嘅多步 trajectory（推理事、工具調用、觀察結果）
- 過濾出真正解決任務嘅 trajectory
- 用呢批 trajectory 做監督式微調（supervised fine-tuning，SFT）數據
- 學生模型喺 serverless 架構上訓練
- 用獨立 benchmark 驗證學生模型成效
SeqKD 只用老師嘅文本輸出，唔需要取老師嘅 logit，亦唔需要強化學習基礎設施，所以即使用閉源或純 API 模型都適用。同一批 trajectory 可以重複使用，唔使重新生成。
圖片：dronepicr／CC BY 2.0／Wikimedia Commons
理論上你希望學生完全重現老師嘅輸出分佈，但可能序列空間大到天文數字，根本冇辦法。SeqKD 嘅做法就係用老師實際產出嘅樣本來近似嗰個分佈。
點解 agentic 任務係最清晰嘅 SeqKD 例子？
因為要複製嘅「序列」本身就係行為本身：每一個 step 都依賴之前所有 step。呢個唔係抄一段文字，係抄一個完整嘅多步決策流程。
阿調搞兩下
呢篇係 AWS 自家平台嘅功能指南，唔係獨立實測。值得留意嘅係：佢唔係推一個新產品，而係將一個成熟嘅 ML 技術（KD）落返去自家平台嘅 serverless training 流程。對開發者嚟講，呢個路徑冇鎖定任何特定前沿模型——只要你用得到老師嘅文本輸出就可以。
真正要問嘅問題係：你嘅 agentic 任務，究竟需唔需要前沿模型嗰度嘅推理深度？如果你的 use case 只係結構化搜索加規則檢查，細模型加好好設計嘅 prompt 可能已經夠，連蒸餾都唔使做。別因為有這個工具就以為每個任務都值得蒸餾。
阿調｜深度調教
