Block 語音模型 Dessa:純靠人聲訓練,M4 Max 都跑得動

Block 旗下 AI 研究團隊近日正式發表全新語音模型「Dessa」。官方強調,呢個模型完全從零開始,純粹依賴「人類對話音訊」進行訓練,徹底摒棄傳統嘅文字資料同預訓練模型(pre-trained model,即已預先學習好嘅大型語言模型底層)。

呢個模型採用「語音對語音」(speech-to-speech)全雙工(full-duplex)架構,可以「邊聽邊説」,唔需要好似傳統語音 AI 咁,先把語音轉譯成文字、再逐字生成回應。Block 指,呢個轉換過程會導致情緒同時序資訊嚴重流失,Dessa 嘅設計就係為咗補足呢個缺口。

按官方釋出嘅示範錄音,Dessa 喺對話中能自然穿插短回應,遇到驚喜情境會發出倒抽一口氣、笑聲及語氣起伏;佢亦能辨識人類嘅諷刺語氣、遲疑、聲音裂痕等細微線索,並做出相應反應,甚至能按要求即時提高音量。Block 表示,訓練呢個模型只動用咗單一組 Nvidia GB200 NVL72 系統。

比較特別嘅係,Dessa 可以喺搭載 M4 Max 或更高規格晶片嘅 MacBook Pro 上直接進行本機執行(local execution),即唔需要雲端 GPU 都可以跑。

不過,Dessa 目前仍處於「研究預覽」階段,尚未成為正式商用產品。Block 現階段僅將早期使用權限開放予少數 AI 安全研究人員申請,外界要感受其表現,目前只能睇官方釋出嘅對話示範錄音。

阿調搞兩下: 語音 AI 一直係個「先聽完先講」嘅系統,聽完、打字、再講,情緒同節奏全部流失。Dessa 嘅賣點就係跳過呢個文字轉碼,直接用音訊入、音訊出。而最吸引我的係佢話 M4 Max MacBook Pro 跑得到——如果呢個係真,而唔係廠商話事,語音模型去雲端嘅門檻就實實在在地降低了。不過,「研究預覽」三個字擺喺度,一切要等正式發布先至算數。點樣,你覺得語音模型放喺自己部筆電上面跑,係解放定係風險?

阿調|深度調教