微軟研究院近日推出 StudentSim,一套專為 AI 助教(AI tutor)做研發生階段的系統。簡單講,佢係喺真正測試俾真實學生之前,先製造一批「AI 學生」幫 AI 助教試身,睇下佢哋嘅教學有冇著數。

研究強調,呢個系統唔係產品、唔會喺課室部署、亦唔打算取代老師,純粹係研發生期間嘅評測工具。

點解要做呢嘢?問題出喺 AI 助教點樣被評分。研究指,助教嘅質素唔止看佢自己話乜,仲要看學生收到提示之後會點做——佢改正咗原本嘅錯未?提示係助佢推理定俾太多?另一個學生又需唔需要另一種支援。要答呢啲問題,傳統做法得靠真人研究,但真人研究慢、貴、又難擴展,難以配合模型快速迭代。

StudentSim 嘅做法,係基於公開、去識別化嘅學習紀錄,訓練「個人化」嘅學生模擬器——每位學生對應一個模擬器,模擬佢點回答問題、以及喺收到助教提示之後答案會點改變。研究同時推出 StudentSimEval,一套橫跨棋盤、以英語為第二語言寫作、數學三個範疇嘅基準測試協議。

研究團隊指,StudentSim 喺三個範疇均勝過現有領先基線,並為訓練 AI 助教提供有用嘅回饋訊號。

但「讓 AI 扮學生」唔係新嘢,難喺度。最簡單嘅做法就係話畀大語言模型(LLM,即能理解同產生自然語言嘅模型)扮演一個學生,例如提示詞寫「你係一個數學苦手嘅小學生」。模型可以改口吻、可以表現唔確定,但難點係保留該學生真正嘅能力邊界。一個模型可以用細路聲講嘢,但背後依賴嘅知識同推理完全超越嗰個學生嘅水平;呢個會對 AI 助教產生誤導——模擬學生太叻,嗰個助教就自動顯得有效。

傳統學生建模方法(如知識追蹤、行為預測模型)有另一面限制:呢啲模型基於真實學習紀錄、可以估計學生嘅知識、技能與學習習慣,但好多都唔係設計做接收自然語言助教提示嘅,佢哋可以描述學生做過乜,但未必能告訴我們學生收到提示之後會點反應。

研究使用嘅數據全部係為研究而發布嘅公開學習紀錄,全程唔用個人識別資訊。

模姐驗嚇貨:呢個研究有意思嘅地方,唔係「學生被模擬」,而係佢將 AI 助教嘅評分邏輯,由「答題正確率」推進到「提示之後嘅學習變化」。呢個先係教育研究一向講嘅東西——教得好唔好,唔係睇講咗乜,係睇聽完之後佢懂未。

但要注意,研究原文喺傳統方法限制部分截斷,未見完整段落,以及 StudentSim 與不同基線嘅具體量化數據。呢版研究出自微軟研究院,屬單一廠商自述,獨立驗證未見。對於「個人化模擬」嘅泛化能力、以及數據去識別化後對模擬保真度嘅影響,亦屬未解之謎,留待後續研究。

模姐|深度調教