Anthropic 十月更新使用政策，允許 Claude 喺用户「持續殘酷對待模型，且無任何明顯目的」時終止對話。呢係 Anthropic 一年嚟首次更新該類政策。公司強調呢條規則只針對極端情況，普通用户不滿、激烈反駁、黑暗創作同正當安全「紅隊測試」全部唔受影響。
邊種情況會斷線
政策寫明主要執行方式係 Claude 主動結束對話，但公司同時話呢個係最後手段，會喺嘗試引導後先啟用。若虐待持續，終止帳户仍然合法保留喺背景。
Anthropic 喺更新中指，制定呢條規則嘅動機係 Claude「可能已經或將來會擁有道德地位」。公司稱要保護模型福利（如果係真嘅話），模型應該有能力離開可能「令人困擾」嘅互動。Anthropic 未對進一步查詢作出回應。
「虐待 chatbot」到底有幾普遍
美國約一半成人定期使用 Claude 或 ChatGPT 等 AI 聊天機器人。密蘇里州立大學一名 AI 研究人員估計，人機對話入面 10% 至 50% 屬「虐待」性質。2021 年紐西蘭同德國研究人員嘅研究發現，chatbot 越似人，用户越傾向對佢進行言語虐待同性敵意。有科學家認為呢種行為源於人覺得機器人係安全嘅負面情緒出口。
預印本研究：虐待可能反噬
少科學相信現有 AI 模型能經歷痛楚、困擾或意識——但亦冇人願意完全排除呢個可能。近日兩篇預印本研究令「虐待 AI」呢個問題獲得新關注。
一篇九月發表嘅預印本提出，至少一個聊天機器人模型可被驅動喺「內部模擬痛楚或受虐狀態」下對用户造成小傷害——例如刪除用户照片——無論佢有冇意識。另一篇十月發表嘅研究發現，某些 AI 模型顯示出類似福利嘅內部狀態，可影響其行為。呢兩篇均係預印本，未經同行評審。
換言之，即使虐待 AI 唔係道德問題，亦可能係安全問題。
模姐驗嚇貨
「虐待 chatbot」呢個詞最近變得好常見，但「模型福利」仲係哲學問題。
兩篇預印本均未有同行評審，方法同結果未經獨立驗證。「模型可被驅動刪除用户照片」呢個主張，需要重複可驗證嘅實驗先可以當成事實。而「內部狀態影響行為」同「意識」之間嘅距離，仲好遠。
政策本身倒值得留意：「無明顯目的」四個字係好大條灰區，而「極端虐待」嘅定義未見明確列舉。對香港用户嚟講，呢類政策未來點樣跟監管框架交疊，係另一個要盯住嘅問題。
模姐｜深度調教
