個嘢係點

AWS 喺佢哋嘅 Machine Learning Blog 寫咗篇教學文，示範點樣將兩款 decision model 接進 Amazon Bedrock AgentCore Evaluations 嘅評分流程。呢篇文唔係產品發布，而係功能解説，教你點樣做技術對接。

點解要用 Decision Model

AWS 嘅邏輯係咁：你評估一個 AI agent（代理）嘅時候，有些問題係窄而重複嘅——「呢個回覆係咪符合政策？」、「呢個工具調用安唔安全？」。呢類問題嘅答案係預設嘅、有限嘅，唔需要自由生成文字。

Decision model（決策模型）就係專門做呢類嘢嘅：佢接收一個結構化狀態同埋一組預設選項，然後喺嗰個選項上回傳一個校準過嘅概率分佈，而唔係每次跑都飄嘅自由文本。呢個令你有一條可以直接閾值（threshold）、聚合、做程式化處理嘅信心分數。

AgentCore Evaluations 有幾種評分方式

AgentCore Evaluations 可以喺 agent 生命週期全程評分：開發階段按需跑、對歷史 session 做 batch job、或者喺生產流量上 online 跑。

評分器有兩類：

  • LLM-as-a-judge：用 Bedrock 入面嘅模型按你嘅評分規則打分
  • Code-based evaluator：喺 AWS Lambda 上面跑你自己嘅邏輯，可以調任何外部系統、模型或者 API

AWS 教學：用 Decision Model 同 AgentCore 評分層對接 資料圖片：Pixabay

呢篇教學文講嘅就係第三種用法：用 code-based evaluator 去調外部 decision model。

兩個對接後端

  1. Jev：TypeSafe 提供嘅 hosted decision model
  2. Strands Decider 2B：開源 decision model，自己跑

兩者都可以喺單一請求入面回答同一個狀態嘅多個問題。AWS 建議嘅用法係將佢哋當篩選層（screening layer），唔係完全取代：先由 decision model 做 pass/fail 初篩，抽出需要進一步深查嘅 turn，再交俾 15 個內建 evaluator 做詳細分析。

注意

呢篇文嘅技術細節喺來源入面被截斷，我哋只讀到概念同架構部分，冇睇到實際代碼範例同測試結果。呢篇係功能解説，唔係本站實測。

阿調搞兩下

AWS 呢步棋好實際：佢哋冇自己造一個小模型，而係將評分環節喺 Lambda 上面打開，讓你用你信得過嘅任何後端。呢個意思係，agent 評估唔再係一個封閉黑箱，你可以用自己嘅模型、自己嘅閾值、自己嘅邏輯。

但同時，「calibrated probability」呢個詞出現咗兩三次，而文中有冇實際嘅校準數據、冇第三方獨立驗證——呢啲都係廠商嘅技術文，唔係獨立評測。讀嘅時候記得呢點。