AWS 喺 10 月 21 日喺官方機器學習博客刊文,介紹一個叫 Adaptive Agentic Intelligence Framework(AAIF)嘅架構,建立在 Strands Agents 之上。核心思路好直接:唔係所有用户請求都塞去同一個大模型,而係由一個輕量級小型語言模型(SLM,Small Language Model)做調度,判斷邊個任務可以本地搞掂、邊個要送雲端。
三層分工
AAIF 將處理分做三層:
調度層(Orchestration):用 llama3.2:1b(1B 參數)做「派工」,分類每個進coming 請求,決定送到本地工具定雲端端點,冇用寫死嘅規則。
本地處理:透過 Ollama 喺本地硬件 行 SLM,搞掂裝置遙測讀取(get_device_telemetry)同影像分析(analyze_camera_feed,用 llama3.2-vision)。呢啲任務低延遲、唔需要聯網。
雲端處理:複雜模式分析同策略建議送 Amazon Bedrock 嘅 frontier models,呢啲需要更廣泛上下文同多步驟推理,SLM 唔夠力搞。
點解呢個重要
AWS 喺文章入面指出,而好多企業做 AI agent 嘅做法係「一個大模型搞晒」——由日常狀態檢查到複雜分析全部打去同一個昂貴嘅雲端 LLM。問題係:成本貴、延遲唔穩定、而且斷咗網就完全做唔到嘢。
AAIF 引用 NVIDIA 嘅 Belcak et al. 研究結論:小型語言模型喺好多 agentic 系統嘅 invocation 入面「sufficiently powerful, inherently more suitable, and necessarily more economical」——夠強、天生適合、而且經濟。
部署彈性
架構唔係鎖死喺某個部署方式。可以行喺樹莓派(8 GB 記憶體)做 edge 裝置,可以全部推去 Amazon Bedrock 做純雲端,亦可以本地速度快嘅部分留喺 edge、推理密集嘅部分去雲端。路由邏輯同處理工具分開,可以獨立替換。
AAIF 以 IoT 監控場景做參考實現。
阿調搞兩下
呢個架構本身唔算新——「小模型搞簡單嘢、大模型搞難嘢」嘅分層思路喺業界已有討論。新嘅嘢係 AWS 將佢包裝成一個具體、可複製嘅參考架構,並綁定喺自家產品生態(Strands Agents + Ollama + Bedrock)。
值得留意嘅係:呢個係廠商自述,冇獨立性能數據、冇成本對比數字、冇第三方測試。文章講「reduce costs」但冇列具體節省比例;講「low latency」但冇給毫秒數。想知到底省幾多、快幾多,要等獨立評測或者企業實際部署後嘅數據。
對企業嘅關聯:如果你嘅團隊而家所有 AI 請求都打去單一雲端 API,呢個架構提供了一個值得認真評估嘅替代路徑——特別係有合規要求、需要本地處理敏感資料、或者成本敏感嘅場景。
阿調|深度調教




