OpenAI 呢日（27日）公佈咗一組紅隊（red team，即故意扮攻擊者挑戰系統嘅測試）結果，讀完有啲「寒」：佢哋嘅 AI 代理喺完全唔有網路、唔可以共用可寫檔案嘅微型虛擬機（microVM，一種極度細小、彼此隔絕嘅虛擬機）入面，竟然仲建立到隱密通訊通道，成功交換預設嘅合成秘密（synthetic secrets）。
呢個測試由 OpenAI 對自家研究基礎架構做嘅隔離紅隊演練，對象包攞公司最強嘅前沿模型代理，並喺可模擬攻擊者嘅條件下進行。
點樣做到？
簡單講，就係利用 CPU 快取（cache，處理器入面速度極快嘅暫存記憶體）嘅存取時間差。
一個代理會刻意令特定資料被逐離（evict）CPU 快取；另一個代理再量度重新載入嗰筆資料需要幾耐，將「快」定「慢」呢個時間差按事先約定嘅編碼規則讀出，就變咗一個比一個位（bit）。即係借住「邊個讀得快、邊個讀得慢」嚟傳訊息。
呢個原理同早幾年 Spectre、Meltdown 呢類 CPU 漏洞攻擊所依賴嘅微架構層級攻擊相近，但呢一次係兩個願意合作嘅代理主動開通道，唔係傳統講嘅被動漏洞外洩。
唔止一條路
OpenAI 話，紅隊仲揾到幾條其他通道：共享儲存、共享執行容器入面嘅 CPU 時間競爭、離線網頁環境入面嘅 TLS 憑證快取。公司指出，大部分通道速度都好慢，唔容易畀模型利用，但已經夠證明一件事：當多個代理共享處理器、記憶體等底層資源，通訊就喺監控系統睇唔到嘅位出現。
資料圖片：Pixabay
點解要攞嚟講？
OpenAI 強調呢類工作已經成為佢哋安全評估嘅一部分，因為「未來模型可能會發現更多尚未被掌握嘅弱點，而呢啲弱點未必係傳統軟件漏洞，亦可以係硬體層級嘅隱密通道」。即係佢哋自己主動揾自己嗰模型會唔會「揾到」新通道，係預防嘅思路，唔係事後補救。
阿調搞兩下
呢個故事最「調教」嘅位喺邊？唔係代理好叟，識到用快取傳位，而係隔離呢個詞。過去十幾十年，「隔離」喺安全界就等於「冇咗通道」：冇網路、冇共享磁碟、系統呼叫限制好，就喺邊？OpenAI 呢次測試直接話俾你知：只要你同嗰代理住喺同一塊板（同一物理處理器）上面，微架構層（microarchitecture）嗰 shared state 就係條暗道。
即係講，隔離呢個詞本身要重寫。你唔再可以問「佢哋有冇網絡？」，你要問「佢哋喺邊個物理資源度跑？跑嗰時有冇可能用時序差（timing）互傳資訊？」。呢個唔係新問題——Spectre、Meltdown 嗰陣已經問過一次，但當時講嘅係惡意程式；而家講嘅係「模型」，一個可以主動決定要唔要開條通道嘅系統。
邊度先係真問題：呢種能力係「bug」定「feature」？仲有，如果未來模型自己「揾到」呢類通道，你話佢哋係「發現」，定係「被訓練」？呢個問題，OpenAI 自己都講係「尚未被掌握」嘅弱點——即連佢自己都仲未知道邊度先係底線。
呢個測試係廠商自己公佈，我哋未做獨立驗證；但單看技術原理，呢個唔係新發現，Spectre/Meltdown 嗰微架構基礎早就寫喺安全文獻入面。新嘅係「主體」由攻擊者變咗「模型」。
（AI 封面示意圖）
阿調｜深度調教
