Amazon Quick(AWS 嘅企業 AI 助理/代理產品)呢幾天(11 月 4 日)喺官方 Machine Learning Blog 推出「Smart Approvals」,主打喺代理(AI agent,可自動執行多步任務嘅 AI)做嘢嘅同時,將真正需要人工判斷嘅決定保留畀人。呢個係廠商自家嘅產品説明,未有任何獨立測試,以下屬功能解説。

點樣運作

呢個功能用一個獨立分類模型(classifier)逐個審視合資格嘅行動,對照用户請求及有界嘅對話內容,決定係自動批準,定係送回俾用户人工複核。它唔會額外賦予權限,亦唔會移除原有嘅必需人工審批。

一個行動要符合兩個條件先會進入自動審視:用户設為「每次都問」(Ask each time),同埋冇任何其他控制要求人工批準。被拒絕嘅行動照舊拒絕,強制人工審批嘅行動照樣要人批。

合資格行動會先經四層檢查:自訂權限(Custom Permissions)、Quick 護欄(Quick Guardrails)、連接器動作權限(connector action permissions)、用户設定。

邊啲事照樣要人批

即使用户明明要求咗,以下行動仍屬高風險,照樣要人工:將內容發送離組織、發畀用户上線主管鏈嘅高層、更改存取權限、刪除記錄、發起付款。呢份名單「未完整」,分類器亦會考慮上下文。

呢度同時加咗一道針對「間接提示注入」(indirect prompt injection,即攞回嘅內容入面夾帶指令,企圖扭走代理行為)嘅檢查。不過廠商自己寫明:模型審視仍然會出錯,所以必要時必須設成人工審批,尤其係涉及敏感數據轉移嘅行動。

權限同私隱

權限預設開啟,但 deny-by-default(預設全部拒絕)嘅使用者要明確定認先開到。管理員經 Custom Permissions 決定邊個可以用呢個功能。用户可以為自己關閉 Smart Approvals,決定跨對話同排程任務生效,而任何帳户級設定都唔可以替佢強制開啟。

Quick 聲稱,分類器檢視嘅內容(包括知識圖譜數據)唔會用於訓練模型或改善服務,相關查詢限定喺用户嘅 Quick 帳户之內。呢項承諾只適用於 Quick 呢個產品,唔構成對全品牌嘅私隱保證。

阿調搞兩下

「Smart Approvals」呢個名好聰明:自動批準嘅係「例行」嘢,要人批嘅係「 consequential 」嘅嘢。表面係幫你省時,實則係將判斷權拆細。值得盯住嘅有三點:邊啲行動被歸入「可自動批」,呢個界限由邊個定、邊個可以改;用户關閉後「唔可以俾強制開返」係咪真嘅寫入條款而唔係口號;同埋呢個分類器本身出錯時,執手尾嘅係邊個。

你教 AI 做嘢,老細教你做多兩份?而當 AI 自己決定邊啲嘢唔使問你,你又係咪真係仲有得揀。

阿調|深度調教