資安新創公司 Cathedral 被指喺授權測試下,用 AI 代理程式喺不足 12 小時內找出第三方商用軟件漏洞,進而進入 AI 公司 Anthropic 嘅部分內部系統,接觸到敏感資料。相關報導由《華盛頓郵報》引述。

AI 代理(agent)就係可以自主執行一連串任務嘅 AI 系統,包括找出漏洞、判斷切入點、跟進一步行動。呢次案例顯示,喺有授權嘅前提下,代理程式可以喺幾小時內由外部商業軟件弱點推進到內部系統。

報導指,Cathedral 係喺 Anthropic 嘅授權測試計劃下進行資安研究,並非惡意入侵。研究人員透過 Anthropic 日常使用的行政與銷售軟件找到切入點,隨後可查看會議逐字稿、薪資與聘書資料,以及涉及公司先進 AI 模型的內部 Slack 對話。另有説法稱,外洩範圍還包括部分客户與合作夥伴的商務聯絡資料,以及基本帳號紀錄。

Anthropic 方面表示,研究人員僅接觸到一小部分銷售、人資與 IT 系統,未碰觸客户與 Claude 之間的對話、模型程式碼或模型權重。公司指監控系統喺 Cathedral 正式通報前已偵測到部分異常活動,當日即切斷存取權限並停用相關軟件,待供應商修補漏洞後才恢復使用。公司又稱,目前沒有證據顯示其他人利用同樣漏洞,並已向聯邦官員通報。

資安新創使 AI 代理 12 小時入 Anthropic 內部系統,日常軟件做破口 圖片:Department for Science, Innovation and Technology/CC BY 2.0/Wikimedia Commons

不過 Anthropic 批評 Cathedral 誇大事件的國安意涵,並指對方未完全遵守漏洞回報計劃規則,因為未完整揭露其在系統內的所有活動。

阿調搞兩下

呢件事最值得留意,唔係「AI 好恐怖咁快入屋」,而係破口喺邊。係日常行政同銷售軟件——也就是邊間公司都喺用嘅第三方工具——有弱點,先有呢個結果。開發最先進模型的公司,唔代表佢公司本身嘅軟件棧就冇漏洞。

同時要注意,呢個係授權測試,唔係未經許可入侵。目前只能以單一方面核對到嘅事實為準,事件細節仍有未核實之處。