AI 到底係幫你長本事,定係幫你退步?呢個爭議最近有一份工作論文(working paper)正面拆。美國國家經濟研究局(NBER,一個非牟利經濟研究機構)喺 11 間美國智慧財產法樓做咗一個 3 個月嘅隨機對照試驗,樣本係 133 名專利律師。

實驗點做

研究將參試者先畀佢哋用 AI 協助做嘢,再冇 AI 下自己做判斷。咁樣可以同時量度「AI 輔助下嘅工作質量」同「收走 AI 之後律師本身判斷力仲勁唔勁」。所有結果由一間獨立法樓嘅專利律師( blinded,唔知邊個組別)按五個維度打計:可執行性(enforceability)、技術準確性、策略模糊度、完整性、清晰度。

呢項研究由 Google 資助。三分之二嘅參與者用咗 Google Labs 一個未公開嘅 AI 助手「InFlow」,另外三分之一冇任何 AI。喺兩項專利 claim 撰寫任務(drafting)入面,只有用 InFlow 嘅組可以用,對照組自己寫。第三項任務叫 redlining,全部人都要冇 AI 審視一份現有專利稿。作者講明:drafting 量即時 AI 輔助表現,redlining 量「內化咗嘅判斷」——呢樣嘢律師日常根本唔使任何工具。

Drafting:AI 真係幫 junior 即刻掂

Drafting 部分,用 InFlow 嘅處理組喺第 10 日同第 90 日都明顯好過對照組,五個打計維度全部見到提升。高分主要來自差評減少、中段評增多,最高分幾乎冇變。

而且提升最勁嘅係少於七年經驗嘅 junior。作者指呢個同近年一連串研究吻合:AI 會收窄經驗淺同經驗深之間嘅表現差距,呢個效應喺寫作、客服、軟件開發都見到過。

Redlining:收走 AI,勁嘅先勁

Redlining 結果相反。處理組整體依然好,但個優勢完全來自 senior;juniors 完全冇任何收益,儘管佢哋喺 AI 輔助 drafting 時候提升最勁。

Junior 嘅分數出現「散開」:中段評大減,轉做更多差評同更多好評,最高分冇增長。作者解讀:AI 喺部分 junior 係加速佢哋建技能,喺另一些則係取代佢哋建技能。實驗本身冇解釋點解會分化。

研究者嘅結論:受惠最勁嘅,就係保留最少持久技能嘅。佢哋推論:底層專精(baseline expertise)可能係將 AI 輔助練習轉化為持久能力嘅前置。

補充文本分析提供一個可能解釋:senior 多嘢係重構 flawed 稿、將修改 grounding 喺法律原則;juniors 則常常睇到重大缺陷但冇改,留低嘅備註讀落好似畀 AI 助手嘅指令。

阿調搞兩下

工具唔會幫你長本事,只係幫你做你本來會做嘅嘢。如果你仲未熟練,用 AI 只係幫你跳過學習曲線,唔係幫你學埋。呢個實驗唔係講 AI 唔好——佢即時真係有用——但「即時」同「持久」之間嗰道牆,就係你自己幾熟練。公司開 AI,你問邊個教你做嘢、邊個教你唔做錯。