Hugging Face 宣佈同 Liva AI 合作，喺「Open ASR Leaderboard」（開放語音辨識榜單）加入兩個新口音：埃及同奈利亞。呢個係該榜單自幾個月前加私域數據以來再擴大一步，重點放喺評測方法，唔係又係晒邊個模型跑分高。
先講嚇呢榜單係點做嘅。前陣 Hugging Face 已經喺榜單加入來自 Appen 同 DataOceanAI 嘅 11 個 split，覆蓋五種口音嘅 scripted（念稿式）同 conversational（對話式）語音，之後又同 Voice Arena 加入一個印度口音嘅 split。今次同 Liva AI 合作，再加埃及同奈利亞兩個。
重點喺呢啲測試數據全部係 private（私域），即模型開發團隊冇辦法預先接觸、揹榜。Hugging Face 明言呢係為咗「minimize benchmaxxing」（減少模型針對特定榜單過度優化的行為），同埋引入新數據供應商。呢幾個月社區對呢個做法反應唔錯，好多人強調 held-out set（保留測試集）先至令評測可信。
今次更新仲改咗架構：榜單會按語言學家 Kachru 嘅「Three Circles」（三圈）理論，將英語口音重新劃分為內圈、外圈、擴展圈，呢個構想 Hugging Face 話係由 Hume AI 喺佢哋嘅榜單先提出。佢哋話，隨住更多口音加入，Outer 同 Expanding Circle 都會再分細。
數據由邊嚟？Liva AI 透過真實用户使用嘅消費產品收集多模態互動數據。佢稱因為同時掌控收集環境同分發，可以針對特定領域、語言、模態嘅模型弱點設計產品，獲取「自然、高上下文」嘅行為，而非「人為引發或任務式」的交互。呢段係 Liva 嘅自我介紹，冇獨立第三方驗證。
模姐驗嚇貨
成件事最值錢嘅唔係又多兩個口音，而係「私域數據」呢個思路。評測最常見嘅問題就係榜單本身淪為優化目標，模型針對已知測試集刷分，結果對真實用户冇改善。用私域 held-out 數據、同時換新供應商，係比較正嘅做法。但要注意：評測數據由 Liva 提供，而 Liva 自身係數據供應商，利益關係要留意；而 Kachru 三圈係語言學框架，唔代表每個口音內部都一視同仁咁被覆蓋。對語音產品用户嚟講，真正問題係你嘅目標口音係唔係喺測試範圍入面。
模姐｜深度調教
