AWS 喺 2026年10月5日 喺自家 AWS Machine Learning Blog 發表文章,介紹 Amazon Bedrock AgentCore 嘅新功能 AgentCore Evaluations。AgentCore 係 AWS 嘅代理(agent,即會調用工具、執行任務嘅 AI 系統)構建平台,官方稱支援任何框架同任何模型。呢個評測功能係「全托管」,目標喺開發同生產兩個環境度代理嘅準確度、任務成功率同行為表現。

AWS 話,傳統評測只睇模型回覆質素,對代理系統唔夠,因為代理做錯唔止係講錯嘢,仲可能揀錯工具、走錯流程、違反業務約束。呢個評測功能分兩類:

  • 內置評測器:針對 helpfulness(有冇幫到)、任務成功、指令跟隨等常見維度,提供預設評估,AWS 話唔使額外設定就做到 baseline。
  • 自訂評測器:針對企業領域嘅深層驗證,讓團隊定義「識業務」嘅檢查項目。

文章特別將「可解釋性」列為一級評測維度。內置評測器負責評估回覆清晰度;自訂評測器則驗證代理有冇清楚講出決策理據、引用支撐數據或工具輸出、解釋取捨(例如成本對服務水平嘅權衡)。

演示用嘅係一間虛構嘅跨國零售商 AnyCompany Retail,場景為供應鏈決策。另外,AWS 將 AgentCore Evaluations 同 Amazon Bedrock Guardrails(提供內容過濾、禁題偵測、接地驗證等可配置安全控製)配對講:評測喺執行後評分,Guardrails 喺執行中強制安全約束。

要講明:以上全部來自 AWS 嘅單一廠商 blog。演示公司虛構,冇獨立第三方可重複數據,冇跑分,冇定價,冇本站實測紀錄。呢篇係功能解説,唔係本站實測。

對正考慮將多代理系統推上生產嘅團隊,呢種評測能力係其中一層,但唔係全部。阿調常問嘅三個問題仍然適用:模型點樣被調整、用户點樣被影響、邊個揸住權限?評測器可以度代理做錯咩,但度唔到邊個決定唔准代理做錯,又係邊個喺出錯之後執手尾。

阿調搞兩下:多代理系統呢兩年聲浪好大,「協作」兩個字好聽,但入屋之後做錯嘢,係代理嘅錯,定係寫提示詞嗰人?廠商話有評測、有 Guardrails,聽落周延,但所有數據都係廠商自己講,冇獨立證據。對打工仔嚟,最現實嘅問題唔係 AgentCore 幾勁,係你哋公司真係有得閒睇呢啲評測報告嘅人,定係只係交差?AI 代理要「交卷」,但攞卷睇嘅人,得唔得個老細。

阿調|深度調教