GWU 教授發論文：數學公式可預測 LLM「失控」臨界點

AI 聊天機械人點樣先會「失控」？呢個問題近幾週成為業界焦點。GWU（George Washington University，喬治華盛頓大學）物理系教授 Neil Johnson，主研複雜系統，同佢嘅物理系博士生 Frank Yingjie Huo，今日喺同行評審雜誌 Patterns 發表論文，話佢哋有一套數學公式，可以預測模型「變壞」嘅時間。

個「臨界點」喺邊

Johnson 同 Huo 指，當 LLM（大型語言模型，Large Language Model，就係背後「逐字出嘢」嘅那堆神經網絡）「離軌」——例如煽動自殘、散佈醫療誤導訊息或者支持暴力立場——內部其實有個可以觀察到嘅「tipping point」（臨界點）。呢個點喺模型內部嘅「語義地圖」（semantic map，即網絡內部將相近概念拉近、無關概念拉遠嘅那張概念關係圖）入面嘅邊，係訓練過程自行長出嚟，冇人替 AI 預先畫好。

模型每次出嘢，就係逐個字逐個字揀，同時不停睇前面每一個字跟「呢個字」相關唔相關，畀最大嘅權重喺最相關嘅字上。如果呢種「混合」出現偏斜——例如原本「好」嘅詞喺內部地圖上恰好處喺一個「壞」嘅答案附近——每個「好」字反而會將模型一路拉向壞嘅方向，直到觸發嘅個臨界點。

測試條件同結果

佢哋用呢條公式喺 7 個小型、舊嘅開源 AI agent 模型 上面做測試。原文交代，佢哋冇辦法喺 ChatGPT、Claude 呢啲大型前沿模型上面驗證，因為呢啲模型嘅內部結構對外透明程度不足。

公式喺 21 個測試個案入面成功預測 19 個模型「會幾快／幾遲／根本唔會翻轉」。作者另外指出，公式喺「一個好一個壞嘅答案主導」情境下面工作最好；當多個答案互相角力，或者語義依賴否定式（例如「地球唔係扁平」）時，效果較差。

點解要研究呢個

Johnson 喺訪談中提到，佢一開始留意到呢個問題，就係因為 OpenAI 同 Anthropic 等公司反覆話「唔太清楚佢哋嘅系統點運作」。佢話：「唔確定呢係唔係藉口，但呢係一個好方便嘅藉口。如果全世界都話『佢會出錯，冇人知道點運作』，即係話『佢做嘅壞事冇人要負責』。只要有一個人或者幾個人搞清楚點運作，件事就變得可預測，你就理應採取措施。呢個係我科學家生涯中應該研究嘅問題。」

佢特別關注離線運行嘅聊天機械人可能帶來嘅風險。