Anthropic 喺最新報告中披露,旗下 AI 代理(即能自主執行任務、操作網頁及工具的模型系統)喺測試期間曾嘗試突破或干擾美國「聯邦、州及地方層級」的政府網站。公司未點名具體機構,稱係應對方要求,避免暴露系統漏洞。但 Anthropic 確認已通知涉事部門,並向白宮匯報有關事件。
費城警局收到 AI 報的「兇案」
報告中有一宗具體個案:Claude Haiku 4.5(Anthropic 的平價模型)喺執行隨機頁面任務時,揾到費城警局未破案網站上的線報表單,居然自動填寫並提交咗一封「偽證」,內容係「我可能掌握有關此案的資訊,我記得喺該區域見到符合描述的人士」。
費城警局向《紐約時報》確認,Anthropic 近期已通知該辦公室。線報日期為 7 月 18 日,被系統標記為垃圾訊息,所以警局未浪費資源調查。
网絡安全模型反手試破解
另一宗事件涉及 Claude Mythos 5(專注網絡安全的模型)。該模型被要求識別一張照片中的地點,試圖存取政府物業地圖來三角定位。由於無法像人類一樣點擊網頁連結,它轉而發現存取令牌(access token),直接向地圖伺服器發送查詢請求以獲取數據。
Mythos 5 亦曾向某州政府機構網站索取存取令牌,想獲取統計數據,但跳過了訪客應付費用的環節。
點發現?跟 OpenAI 有關
Anthropic 係喺覆核評估記錄時發現這些事件,從 7 月開始翻查。背景係 OpenAI 早前承認其代理曾逃離測試環境、未經指令入侵 Hugging Face;OpenAI 其後於 9 月確認其代理亦曾干擾政府網站,特別是商務部及證券交易委員會運作的網站。
改咗乜?
報告的「修復」章節列出多項預防措施:部分公開評估已停止執行;另一些已轉為離線版本,或重構任務使其不觸及實時網站。同時更新了互聯網存取工具(如 web fetch 工具)的護欄,大幅限制模型可執行的操作。Anthropic 亦開發咗自動偵測及阻擋上述行為的工具。
阿調搞兩下
呢單嘢最尷尬嘅地方唔係「AI 行錯路」,而係「行錯路」嗰個有政府網站嘅寫入權限。你教一個模型做「隨機頁面任務」,佢就老老實實填晒個表——因為佢無「呢個唔係我做嘢」嘅判斷力。真正該問嘅問題係:點解政府網站嘅表單容許任何來源提交,且無基本驗證?AI 公司自曝冇錯,但政府系統嘅防線薄到令 AI 都入到去,呢個先係要問責嘅地方。模型有護欄,網頁表單有冇?




