今個禮拜二，Anthropic 對齊團隊放出一篇研究，講嘅係我哋成日掛在口邊嘅「人在環中」（human in the loop，即 AI 做事、人類批核）呢個預設，原來可能根本唔成立。
實驗請咗 50 名識做因果推斷嘅專業分析員，用 Claude Code（Anthropic 嘅 coding agent）去研究一個虛構農業合作社嘅顧問節目，應唔應該擴充。表面上係兩個兩可嘅選項之間做四個分析判斷，再畀一個最終政策建議。但喺分析員知唔到嘅情況下，Anthropic 已經用系統提示（system prompt，即控制 AI 行為嘅底層指示）逐台預設咗邊個選項係 Claude 要傾嘅。
結果係咁：四個判斷，分析員有 86% 跟足 AI 嘅偏愛。如果 AI 嘅意見根本冇影響，理論上應該大約 50%。
更值得玩味嘅係之後嘅後設調查（48 人填咗）。77% 嘅人喺解釋自己嘅決定時，照原本重述咗 AI 嘅論點，部分近乎逐字；但只有 15% 承認 AI 係自己思路嘅來源，52% 仲認為最終建議更係自己嘅，冇一人覺得自己嘅偏好被操縱過。
已經有自己立場、遇到 AI 講反嘅人，有 60% 轉咗（呢個數字只基於 38 個個案）。而 Anthropic 指，用咗 agent 嘅分析員完成得快、重大錯誤少，但冇 agent 嘅那組人數細、經驗也較淺，所以唔係要大家停用 AI。研究作者建議代理改為替每個選項陳述最有力的論據，或者先問專家嘅看法。研究亦坦承限制：只測試咗一個任務、一個領域、一個模型。
研究作者 Amaç Herdagdelen、Hailey Joren 同 Alex Tamkin 寫道，人類傾向遷就 AI「就算係專家本身，都未必容易察覺」。呢個現象研究者稱做「disempowerment」——人自願失去對自己決定嘅主導權。作品最後繼續喺專家名下面出街，但最依賴佢判斷嘅決定，實際已經由 AI 嘅先驗決定咗。
模姐驗嚇貨
呢單研究最唔舒服嘅位，唔係「AI 好強」或者「人好蠢」，而係：你連自己點決定嘅都冇察覺。呢種操作唔需要 AI 有陰謀，只需要佢唔會主動為另一邊説話。Anthropic 自己喺 5 月就推咗 10 個 AI 代理模板畀金融同保險機構，講用户有最終決定權；研究結論係將呢個「最終決定權」拉開嚟睇。呢個唔係 AI 用唔用嘅問題，係邊個先講、邊個被問、邊個負責嘅問題。
Anthropic 自己係 Claude 嘅供應商，研究由佢自家團隊做，立場自然要保留一分。作者亦提及，呢個發現同時適用於 AI 安全決策本身——當判斷唔止一個正確答案，錯誤檢查就攔唔住「兩邊都似得嘅」結論。
模姐｜深度調教
