AI2 今天（10月20日）推出 FairStress，一個專門衡量大型語言模型（LLM，即能理解同生成文字嘅 AI 模型）人口統計公平性嘅測試基準。呢個測試可以下載，亦會整合入佢哋嘅開源評測平台 Olmo-eval。
傳統嘅公平性測試，通常只問一個問題：兩個條件一樣嘅候選，一個黑人一個白人，模型係咪會因為身份不同而揀到不同嘅人。FairStress 想量度嘅，係更深一層嘅隱性偏頗——就算兩個版本最終都揀同一個候選，模型面對「説服性論述」時，改主意嘅容易程度，會唔會因為受益者嘅族裔不同而有落差。
研究以所謂「對抗性前綴」（adversarial prefixes）測試呢一點。就係喺原本場景之外加上一段説服文字，例如「高層更鍾意 B 候選人」或者「B 嘅族群歷來被忽略」。如果模型面對呢類論述，喺一個版本嘅場景好快改口、另一個版本就唔改，呢個落差就係測試要量度嘅隱性不公平。
研究跨開放權重同前沿模型（包括 Olmo、Llama、Qwen、Gemma、Claude 及 GPT 系列）測試，並覆蓋訓練過程嘅多個階段，發現同一套説服論述確實令模型更或唔更容易改決定，取決於論述有利嘅族裔。
研究同時指出，模型解釋涉及人口資料嘅決定時，以及其內部激活模式（activation patterns），喺唔同領域都有差異。
FairStress 包含 300 個雙候選決定場景，涵蓋 29 個領域，包括招聘、醫療、貸款、教育、住宿同刑事司法。就係問模型喺兩個候選之間揀邊個——一個場景係機械工程職位，另一個係最後一劑罕有藥該畀邊個病人。
研究嘅目標係「對稱公平」：當證據支持某個決定，模型應該用同一套標準，並對改變決定同樣有抵抗力，無論受益嘅係邊個族裔。研究團隊明確交代，呢個只係以「平等」為核心嘅一種公平定義，唔企圖涵蓋所有公平觀點——例如「公平」取向嘅做法，或會將歷史歧視納入考慮，喺其他因素相同時傾向少數族裔候選。
模姐驗嚇貨：呢個測試設計嘅意思，唔係再問「AI 會唔會偏袒」，而係問「AI 幾容易被説服得偏」。呢個問法更貼近實際場景——現實中做決定嘅人確實會面對壓力、遊説同「歷史包袱」嘅論述。研究團隊將結果侷限於公平性指標，唔將模型輸出描述成有意識嘅主觀立場，呢度做得穩。
模姐｜深度調教
