Elevenlabs 喺 10 月 20 日發布咗兩款新嘅 speech-to-speech(語音對語音,即直接處理語音輸入輸出、唔經文字轉寫)模型,統稱 Eleven Realtime,針對即時 AI 對話場景。

兩款各走一路。v1 Max 跑喺 Big Bench Audio 呢個音訊基準上,準確率 98.8%,反應時間 0.57 秒。Elevenlabs 話,喺 Artificial Analysis 排行榜上面,而家冇任何模型可以同時做到更快同更準確。呢句要注意:係 Elevenlabs 自己講嘅,未見獨立第三方核對。v1 Max 面向嘅係較複雜任務,例如客户服務。

v1 Mini 就細身啲,定位係自然對話,成本較低。

兩款都經 ElevenAgents 平台提供,同時有一個兼容 OpenAI 格式嘅 Realtime API。呢點值得留意:如果你成日同 OpenAI Realtime API 打緊嘢,轉用 Elevenlabs 成本唔會太高,唔使大改程式。

計費方面,兩個模型都按分鐘加 token 計費,v1 Max 比 v1 Mini 貴。具體數字 Elevenlabs 話睇佢哋嘅定價頁,呢篇未收錄。

即實,呢個係 Elevenlabs 將語音能力從後台合成工具,推近「同你講緊嘢」呢個產品形態。語音對語音模型唔再只係做字幕同配音,而係直接接喺即時對話入面,反應速度成為同準確率一樣重要嘅指標。

阿調搞兩下:0.57 秒喺人類對話入面算快,但呢個數字而家只有 Elevenlabs 自己講。Big Bench Audio 個榜點計、Arificial Analysis 嘅測試條件係點,都係要自己查先至信。廠商出榜同第三方核對,呢兩樣唔可以同價而視。