Google 研究團隊今個星期喺美國國家經濟研究局（NBER）發表一項場域實驗，標題「Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting」。呢個實驗設計同數據值得拆嚇。
點樣做嘅實驗
研究團隊喺 11 間專註知識產權嘅律師行，隨機派 133 名執業律師分成兩組：三分之二用上一個當時未發佈嘅 Google Labs AI 專利撰寫助手（而家已併入 Gemini Notebook），另外三分之一有受培訓但喺三個月實驗期內唔畀佢哋用呢個工具。
第 10 日同第 90 日，全體參與者都收到一份假設發明嘅資料包，要獨立寫一份專利。由獨立法律專家按五個質量維度盲評。
數據話乜
用 AI 嘅組，寫出嘅專利評分喺第 10 日比控制組高 0.34 個標準差（相當於百分位排名升 10 個點）；到第 90 日，差距拉闊到 0.38 個標準差（11 個百分位點）。各質量維度提升一致。
但呢個係「用 AI 寫」嘅分數，唔係「唔使 AI 寫」嘅分數。
實驗真正想量嘅，係用家自身判斷力有冇跟住工具提升。結果發現：資深律師用 AI 90 日後，判斷力確實比唔用嘅資深律師強；但資淺律師用 AI 90 日後，平均冇技能增長，分數分佈出現極化——強嘅變強、弱嘅變弱，中間層收緊。
模姐驗嚇貨
呢個實驗設計有幾個地方值得留意。
第一，數據來源係 Google 自家，實驗用嘅係 Google 自家未發佈嘅工具，被試律師來自與 Google 有商業關係嘅律師行。Google 研究博客將呢個結果放喺自家平台上發佈，利益關係冇獨立第三方參與設計。
第二，研究團隊指出理解「AI 會否侵蝕或增強專業能力」需要三個條件同時滿足：長月嘅持續使用、無 AI 輔助下嘅獨立評測、由領域專家盲評。呢個實驗有盡量同時滿足，但「三個月」夠唔夠長，133 人夠唔夠代表，呢啲都係可質疑嘅。
第三，「資淺律師無平均技能增長」呢個發現，同研究團隊引述嘅軟件工程師、管理顧問、高中學生同醫務人員嘅近期實驗結論相呼應：AI 提供嘅即時輸出提升，喺工具移除後往往無法持久保留。
對讀者最實際嘅問題係：你而家用 AI 做嘢，邊個決定你嘅技能有冇真係進步，定係你寫嘅嘢只係「看起來」更好？呢個實驗冇提供答案，只指出呢個問題存在。
模姐｜深度調教
