LangChain 10月2日喺官方部落格公開,佢哋點樣喺開源編程 agent「Open SWE」入面建咗一個模型路由(model router,即根據任務特性將請求分配到不同模型嘅機制),聲稱中位數編程任務成本比之前全用頂級前沿模型(frontier model)降咗64%,質量冇明顯變化。呢個係廠商自述,我哋未做獨立測試。

LangChain 話,佢哋每月嘅編程 agent 開支「快速攀升」,客户都反映同樣擔心,所以決定動手。佢哋嘅核心論點:唔係每單任務都要最頂級嘅模型。佢哋引述 Anthropic 自己嘅模型選擇指南,話「喺好多應用中,由更快、更慳錢嘅模型(例如 Claude Haiku 4.5)做起,可以係最佳做法」。佢哋指,模型能力到咗某一程度就邊際回報遞減:更強嘅模型加唔到幾多質量,但成本同延遲一直上升。

路由決策放喺邊度,係呢篇文嘅核心。LangChain 認為應該放喺 agent 嘅「harness」(即載入上下文、組裝提示詞、管理工具調用嘅外層框架),而唔係通用嘅 API gateway(即統一接駁多個模型嘅中轉層)。原因係:揀對模型需要領域同任務嘅上下文,而呢啲上下文 harness 已經有,gateway 通常冇。

佢哋話,有效嘅路由設計要「根植於可觀察性(observability)同評估(evals)」:要理解 agent 嘅任務空間(task space,即該 agent 可處理嘅任務範圍)、做模型表現研究、訂立清晰嘅成功標準。

阿調搞兩下

呢個係 LangChain 自己產品嘅內部數據,冇獨立第三方核實。64% 係中位數,唔代表每個任務都慳到成數;「無明顯變化」係佢哋自己嘅評估,點樣量度「質量」佢哋冇喺摘要入面交代。對用 Open SWE 或者自建 agent 嘅人,呢篇文嘅實用價值在於佢哋講明咗路由要放喺有上下文嘅一層,唔係喺中轉層瞎調度。你開工請模型,唔使單單請最貴,但邊單任務夠、邊單唔夠,要你自己有數。

阿調|深度調教