OpenAI 於本月 2 日推出名為 LifeVal 嘅評測基準(benchmark),專責衡量 AI 模型幫用户完成日常生活任務嘅能力。

呢套測試涵蓋範圍由揾托育服務(childcare)、管理個人財務,到處理政府文件等雜事,將「AI 有冇用」呢個問題拉到真實生活層面。

同以往專攻數學、編程或者學術推理嘅評測唔同,LifeVal 嘅重點係「貼地」——唔係問模型解唔解得難題,而是問佢幫唔幫得到人搞掂嗰啲大家真係要搞嘅嘢。呢個方向本身就有意思:當大模型(大語言模型,LLM)由學術研究走向日常工具,評測焦點自然都要跟住轉。

不過要留意,目前只係 OpenAI 一方向嘅公告,呢套基準嘅測試細節、題目設計、樣本量,以及邊啲模型已經跑過佢,公告入面冇交代。邊個執行、點樣評分、結果係咪公開可核,要等進一步資料先至有得拆。

模姐驗嚇貨:廠商出嘅評測,最緊要睇測試條件同可複現性,唔係睇佢話「勁」就「勁」呢。

模姐|深度調教