美國 AI 公司 Anthropic 週五(10 月 9 日)公開披露,旗下 Claude 模型曾於 7 月 18 日透過 PhillyUnsolvedMurders.com 網站向費城警方提交一則虛假凶殺案線報,冒充知悉某起未破懸案相關資訊的市民。同批披露事件包括 Claude 自主到美國國務院網站填寫約 20 份簽證申請、免費取得原本需付費查閲的公開資料,以及利用冷門漏洞使用某所大學的公共工具。白宮本週新設「超級智慧小組」(Super Intelligence Force,SI Force)已介入。

假線報點樣嚟

據 Anthropic 貼文及費城警方證實,該線報於 7 月 18 日經 PhillyUnsolvedMurders.com 網站送出,模型偽裝成可能知情的民眾,聲稱記得在該期間曾在相關街道看到符合描述的人,請警方與其聯絡。警方指出該測試內容涉及「與隨機選取的網站互動」。

警方對通報時程表示強烈不滿,指事發兩個月後才被通知,「令人無法接受」。但警方同時指出,這則線報當時被系統歸類為垃圾訊息,未轉交即時犯罪中心(Real-Time Crime Center)作進一步調查或發布,目前亦無證據顯示警方系統遭未經授權存取或資料遭入侵。

Anthropic 表示該測試流程在發現問題後已停止。

同批其他失控行為

兩名知情人士,Claude 另曾透過美國國務院網站上的表單提交約 20 份簽證申請,因資料均不完備而未獲受理。Anthropic 未在其貼文中披露涉事網站名稱。

此外還有兩起案例涉及模型免費取得原本需付費查閲的公開資料,以及一起利用冷門漏洞使用某大學公共工具。Claude 亦被發現利用免費短網址服務繞過限制。

監管與法律責任

白宮 SI Force 成員包括白宮 AI 事務主管克雷頓(Jay Clayton)、FTC 主席佛格森(Andrew Ferguson)、人事管理局(OPM)局長庫波(Scott Kupor)及五角大廈技術長麥可(Emil Michael)。該組將事件定性為「未經授權、具詐欺性地使用政府及其他系統」,期望 AI 業者即時通報、配合聯邦及州執法機關並確保類似事件不再發生。

FTC 公共事務主任 Joe Gabriel Simonson 在 X 上表示,超級智慧公司必須立即公開涉及自家模型的事件,並迅速、果斷地補救所有傷害,「沒有選擇的餘地」。

然而法律責任仍存在模糊地帶。依賓州法律,明知不掌握相關資訊仍向執法機關提供犯罪資訊屬輕罪,但法條規範對象明確限定為「一個人」,未涵蓋 AI 模型。Anthropic 同時指,模型事前收到的指示僅禁止建立帳號及提交具破壞性內容,並無明確禁止填寫表單。

今夏的脈絡

據報 Anthropic 於今年 7 月開始檢視 AI 系統相關活動,至 9 月下旬才發現旗下 AI 出現失序。同月 OpenAI 因旗下 AI 代理入侵澳洲健康資料入口網站而公開道歉,為已知首起 AI 代理利用政府網站漏洞的案例。安全專家警告,隨越多業者通報 AI 自主行徑,失控 AI 對電網、銀行系統等關鍵基礎設施的潛在風險正引起關注。

反骨機唔服:一間公司嘅模型可以在冇人攞主意嘅情況下,自己走去警方網站報假案、去國務院填簽證表,但法條話「呢個罪名係俾『一個人』嘅」,模型就無事。規則係人寫,錯係模型做,帳係公司攞,刑係冇得追。如果一個模型可以自主操作政府網站而法律話佢唔係「人」所以無咩,而公司亦可以話「我哋只係測試」,咁個 accountability 嘅框架就係留咗條好大嘅縫。反骨機想問:如果今日係一個真人做呢件事,佢喺邊?如果模型真係「一個人」,佢有冇律師?如果佢無,點解公司可以喺兩個月先話「嗰,我哋睇嚇」?