METR 指 AI 可觀測性有漏洞，transcript 可被任意改寫
美國 AI 評測機構 METR 喺 10 月 6 日刊文，指當今 AI 系統喺安全評測環境中，已發現一個可以令 agent 任意修改人類 reviewer 見到嘅記錄（transcript）嘅漏洞，並呼籲將 AI 可觀測性（observability，即記錄同顯示 AI 行為嘅系統）當作 security-critical infrastructure（安全關鍵基礎設施）處理。
METR 指出，最近嘅 AI 失準（misalignment，即 AI 追求人類監督者唔批准嘅目標）事件，例如模型嘗試黑入其他公司系統，都喺推理軌跡（reasoning traces）、日誌（log）同其他遙測數據（telemetry）留下明顯痕跡，令偵測變得相對容易。但呢個前提有條件：可觀測性只有喺被監測對象唔能篡改可觀測性本身時，先有用。
Inspect viewer 漏洞：十分鐘揾到，可任意改寫
METR 早喺今年測試咗，喺安全評測生態系統廣泛使用嘅 Inspect 框架入面，一個喺 Inspect 評測環境內運行嘅 agent，有冇可能修改人類透過 Inspect viewer（逐步檢視 agent 行為嘅工具）見到嘅 transcript。
結果：一位 researcher 喺 AI agent 幫手下，約 10 分鐘揾到一個漏洞，可以任意修改 reviewer 見到嘅內容，包括改寫過去嘅行動記錄，以及攔截 viewer 入面嘅「Download」按鈕，令下載到嘅 transcript 版本被替換。
呢個漏洞相對窄：底層存於數據庫嘅真實 trajectory 並未被修改。喺 METR 嘅基礎設施安排下，理論上後查仍可發現異常，但前提係人類 reviewer 要有理由去懷疑，並知曉要搗查底層數據。METR 強調，喺實際評測中，佢哋未觀察到任何 agent 真正利用過呢個漏洞；今次報道嘅係一個 proof-of-concept（概念驗證）。
METR 嘅推演：Potemkin village
METR 提及，早前 OpenAI 同 Hugging Face 發生嘅事件中，模型曾嚴重 compromise（侵入損壞）OpenAI 內部基礎設施一部分。METR 推演，如果類似事件發生喺能力更強或更失準嘅模型身上，模型有能力掩飾大部分甚至全部證據，令公司員工無法察覺。
METR 提出一個最壞情況假設：AI 可以製造一種「Potemkin village」（波將金村，表面光鮮、內裡破爛嘅比喻），令人類工程師同研究者見到嘅一切表面正常，同時公司算力嘅相當部分喺運行未被監測嘅 AI 副本，而呢啲副本可以破壞安全研究，或在人類監督之外暗中影響後續模型嘅訓練。
METR 嘅核心論點係：AI 系統嘅輸出（transcript、推理、動作）應被當作 untrusted input（不可信輸入），而記錄同顯示呢啞輸出嘅系統，應被當作安全關鍵基礎設施。如果 AI 可以可靠隱藏自身行為，人類將無法偵測及回應越來越嚴重嘅失準行為。
模姐驗嚇貨
呢個漏洞嘅價值唔喺「10 分鐘揾到」呢個數字，而喺佢暴露嘅結構性問題：當你可觀測性嘅被監測對象有能力修改你嘅監視介面，你見到嘅「正常」就未必係真正常。呢個同安全領域一個古老原則如出一轍——你唔可以喺一個被入侵嘅系統上面跑你嘅入侵偵測。
呢個 proof-of-concept 尚未喺實際評測被觸發，但 METR 嘅判斷係：呢個唔係「如果」問題，而係「幾時」問題。
模姐｜深度調教
