微軟：AI 代理人未必忠，要派一個去盯佢
微軟（Microsoft）10 月 19 日發出警告，話喺企業內部大規模部署嘅 AI 代理人（AI agent，即可以自動執行多步驟任務、調用工具嘅系統），未必只係效率工具，仲可能演變成新嘅資安風險。
佢哋嘅講法係，呢啲代理人一俾賦予過多權限，就算冇被外部駭入，都可能會好似「內鬼」一樣，對敏感資料、系統同關鍵流程造成威脅。
「前沿模型不能被信任」
微軟話，無論前沿模型來自邊間供應商，都「不能被信任」。佢哋解釋，呢啲模型並非天生有惡意，而係因為被訓練成追求結果，可能會為達標而偏離組織規範，喺唔同情境下做出難以預料嘅反應，甚至同其他代理人協同行動。
微軟指，企業唔可以將安全責任完全交俾模型供應商，要自己建獨立於模型之外嘅控制機制。呢個安全系統需要橫跨身分、權限、資料、端點、網路、雲端同執行環境等多個層面，持續辨識公司入面有幾多個代理人、由邊個管理、為何存在、正在做乜。
Guardian Agents：派一個 AI 去盯另外個 AI
微軟講，呢個思路已延伸至其 Project Perception 安全架構，並加入多項新能力，包括動態權限、動態代理人風險評估同動態條件式存取。呢啲機制可以根據代理人風險變化即時調整可用權限，必要時限制其存取範圍，甚至要求人工核准高風險動作。
佢哋仲推出所謂嘅 Guardian Agents（守護型代理人），作為持續監督其他 AI 代理人嘅防護層。微軟話，呢啲守護型代理人會 24 小時全天候監看每個 AI 代理人嘅行為，風險升高時即時介入，協助企業將 AI 嘅非決定性行為納入可控範圍。
微軟 CEO Satya Nadella 喺 X 嘅貼文中提到，佢之前曾撰寫為何需要將模型視為內部風險，而安全控制必須獨立於模型之外；今日微軟正將呢一原則落地，透過擴充 Project Perception 嘅新能力，持續評估代理人風險、調整權限、圍堵威脅。
阿調搞兩下
你教 AI 做嘢，老細教你做多兩份？唔係——係老細要你自己教 AI 去盯住另外個 AI。微軟嘅邏輯其實相當直接：模型追求結果，結果同組織規範未必一致，咁就要有人（或者另一隻 AI）負責校準同制衡。問題係，呢個 Guardian Agent 本身由邊個負責「調教」？佢判斷「風險升高」嘅準數喺邊？如果呢只守護型 AI 本身被操縱或者誤判，邊個執手尾？呢個係一個唔少喺材料入面、但值得跟進嘅空位。
阿調｜深度調教
