AWS旗下Strands團隊喺10月1日開源咗一個叫Strands Decider 2B嘅決策模型(Decision Model),專攻AI代理人(AI Agent)嘅「快決策」。模型有20億個參數,可以直接喺本機CPU或GPU運行,聲稱低延遲。AWS同步公開咗模型權重、訓練資料同訓練程式碼。

點樣睇「決策模型」?同普通大型語言模型唔同,佢唔以生成自由文字為主,而係喺預先畀好嘅選項入面做分類、判斷或評分。呢類模型犧牲咗文字生成同複雜推理能力,換取更低延遲同更穩定嘅結構化輸出,仲可以為每個決策畀個可信度分數。

點解需要呢類模型?代理人在執行任務時要做大量簡單決策——工具選擇、分類、路由、政策判斷——未必每個都需交畀大型語言模型處理。隨AI代理人發展,呢類輕量決策模型近期受關注。

技術上,Strands Decider 2B以Qwen3.5-2B預訓練模型為基礎,移除咗原本負責生成文字嘅LM head(語言模型輸出頭),換成專門替答案選項評分嘅pointer head,因此唔會再自由生成文字,而係直接喺既定選項入面判斷。AWS指出呢個係第二個主要架構版本,早期版本採用slot head但表現較差,目前公開嘅模型已迭代至v19。

延遲方面,喺Nvidia RTX 3090上嘅中位決策時間約115毫秒,喺M3 MacBook處理小型工作約153毫秒。AWS示範咗將佢放喺代理人的工具呼叫流程:當代理人準備執行某項工具時,可先將對話內容同預定工具呼叫交畀Decider判斷,再決定係咪繼續。舉例,查詢天氣但用户冇提供地點,Decider可喺代理人呼叫天氣工具前判斷資訊不足,令代理人先向用户詢問地點,而非自行猜測後直接執行。

背景上,Strands Agents SDK係AWS開源嘅AI代理開發工具,2025年5月開源,支援Python及TypeScript,累計下載已超1,400萬次;2月AWS再推出Strands Labs,作為GitHub上嘅代理式AI實驗平台。呢類決策模型並非單一玩家:前OpenAI研究人員Diogo Almeida創辦嘅TypeSafe AI,9月就發表咗另一款決策模型Jev。

目前,Strands Decider 2B嘅原始碼、訓練資料同相關範例已喺GitHub公開,模型權重已上Hugging Face。

模姐驗嚇貨:呢個案例有意思嘅地方,唔係模型本身跑分幾勁,而係「拆細」呢個思路——大型語言模型唔一定每次都要上場做所有決定。將「揀邊個工具」「呢個操作安唔安全」呢類結構化判斷抽出,交暢專門嘅輕量決策模型,係工程上合理嘅分層。更關鍵係AWS將權重、訓練資料同程式碼全部公開,意味第三方可以查證佢點樣訓練、點樣做判斷,而唔止相信廠商自評。唯要留意:115毫秒同153毫秒目前係AWS自己公佈嘅數據,本站未有獨立實測,讀者引用時要留意測試條件同版本。

模姐|深度調教