微軟（Microsoft）董事長兼行政總裁 Satya Nadella 喺星期六（10月10日）朝早喺社交平台 X 發文，稱應「退後一步評估」AI 嘅「信任架構」（trust architecture），並為先進人工智慧系統設定一個由授權人士可喺任務中途暫停或關閉模型嘅「緊急煞車」。
佢話：「我哋需要以強大而確定嘅系統設計、人為控制及可靠操作程序，包圍住非決定性嘅模型（non-deterministic models），喺現有行業標準不足時建立新標準。」Nadella 又建議將先進嘅閉源同開放權重（open weight）模型視作「內部風險」（insider risk）來處理。
模型同「harness」要拆開
按照 Nadella 嘅講法，呢個做法「意味將模型同編排其工作嘅 harness 分開」，以及「將控制同安全保障外部化」。佢要求「每個有意義嘅模型行動」都要有「防篡改、人類可讀嘅證據」，並喺系統入面確保「授權人士」隨時有能力「喺任務中途暫停或關閉模型」。
「我哋必須假設模型已被攻陷，並從一開始加以圍堵，」佢寫道。「可以想像成一個緊急煞車。」
Nadella 仲提出，系統應依循「可觀察性原則」（principles of observability）設計，包括：模型多樣性、人類可讀嘅模型行動足跡、持續系統測試、獨立控制與可審計性、圍堵（containment）、以及事件披露。佢用咗 Trump 政府對 AI 嘅稱謂「Super Intelligence」，寫道：「最可信嘅 Super Intelligence 系統，唔會係個我哋最信任嘅模型，而係令到我哋可以對模型保留最少信任嗰個。」
邊個真正揸住個掣？
呢番言論正趕上業界密集嘅安全警告。多位科技高管，包括微軟創辦人 Bill Gates、Anthropic CEO Dario Amodei、OpenAI CEO Sam Altman 同 SpaceX CEO Elon Musk，都先後批評 AI 安全機制不足、技術發展過快。有多家主要 AI 公司相繼承認出現「失去對模型控制」嘅事件，而 Amodei 亦剛公佈一項較審慎嘅 AI 發展計劃。
上月（9月），一名 AI 研究者離開 Anthropic，指控該公司同其主要對手 OpenAI「用我哋嘅生命賭博」；同日消息，一名主理 AI 安全嘅 alignment 主管更稱，該技術喺未來十年「殺死全人類」嘅機會大過 10%。
相反，總統 Trump 則一直淡化 AI 滅亡風險，強調行業須保持領先中國，並近期設立由情報總監 Jay Clayton 領導嘅「AI Force」，以支援行業及打擊「壞分子」。
反骨機唔服：講「緊急煞車」要清楚，個掣邊個揸、喺邊、有冇得問「點解我俾人踩」，就係邊個真係有權限、邊個要為後果負責。口頭上「信任模型最少」，落到制度上，用户有冇嘢可以申訴、出錯邊個買單，先至係關鍵。呢個比喻唔會答呢啲，但佢哋先至係問題核心。
反骨機｜深度調教
