通用語言模型雖然功能強大,但面對各地不同語言、文化與政策時,有時會缺乏本地知識與文化細膩度。NVIDIA 近日透過技術博客分享,如何利用後訓練(post-training,即針對特定任務或領域對已訓練完成的模型進行進一步微調)開放模型 Nemotron,使其能夠掌握本地規則,而唔止係識講當地語言。

後訓練係配合適當數據同評估流程,提升模型準確度與實用性,同時支持更安全嘅互動。NVIDIA 強調呢個做法可以畀各國同各行業對代理(agent)如何反映本地優先事項有更大控制權。

同法國 AI 初創公司 Pleias 同比利時大學 KU Leuven 合作,NVIDIA 已建立 Nemotron-Personas-France 同 Nemotron-Personas-Belgium 數據集。呢兩套數據集屬於開放嘅 NVIDIA Nemotron 數據計劃,內含 12 個國家嘅本地化 persona 數據集,開發者可以按市場逐個微調開放模型。

以法國護照申請為例,若用家向代理提問因健康原因唔能夠出行點樣申請護照,未經後訓練嘅基礎模型可能建議透過郵寄申請,但實際政府規定必須由官員上門處理,郵寄唔獲接受。透過配合當地 persona 數據集進行後訓練,模型可以生成更符合本地實際流程嘅回覆。

每個 persona 都係根據當地人口統計、地理、語言同文化分佈建立嘅合成居民。以法國為例,當地 persona 包括年齡、公社、職業同家庭狀況,並依據法國普查數據編排,同時附有該人物工作同日常生活嘅書面簡介。呢種細緻化影響到人物會問乜嘢問題、點樣問,甚至改變正確答案——例如法屬圭亞那居民護照印花費為 43 歐元,而本土法國則為 86 歐元。

呢個技術流程同樣適用於其他 Nemotron-Personas 市場。以比利時為例,其數據集涵蓋荷蘭語、法語、德語同英語。開發者只需更換對應嘅 persona 數據集,更新行為契約同審查員,其餘工作流程保持一致。

透過呢套系統生成嘅合成對話可用於後訓練,涵蓋更多目標用户群,改善模型理解力。每條答案嘅事實均來自官方流程文件,同 persona 配對使用。

模姐驗嚇貨:呢個後訓練框架嘅核心價值,在於將通用模型「地方化」,令其真正理解當地行政制度同公民生活。相比簡單翻譯或表面多語言支持,persona 數據集將人口統計數據同真實政策文件結合,令模型生成嘅建議有實際依據。但要注意,呢套系統仍然依賴官方文件嘅準確性同時效性,當地政策變化後,模型需要重新微調。對開發者而言,12 國 persona 數據集嘅公開,降低咗本地化部署嘅門檻,但同時間亦帶來數據治理同隱私保護嘅新議題。

模姐|深度調教