AWS 夥伴 Cartesia 利用 State Space Model 聲稱喺全球規模提供 sub-100ms 語音合成同辨識,並部署喺 AWS 基礎設施上。呢個係廠商宣稱,延遲數字嘅測試條件未披露。

乜係 State Space Model?點做語音?

State Space Model(SSM,狀態空間模型)同傳統 transformer 處理序列嘅方式唔同。Transformer 用 attention(注意力)機制,每個 token 同其他所有 token 比較,計算量隨序列長度平方增長。SSM 則將序列視為隨時間演變嘅系統,逐步處理並攜帶一個固定大小嘅內部狀態向前傳遞,計算成本喺長序列上比較低。

文章指出 SSM 喺音訊處理上有三個優勢:

  • 長期依賴保留:結構化 SSM 係線性循環模型,狀態參數化令長音訊序列唔會似傳統 RNN/LSTM 咁出現長距離信號衰減
  • 固定記憶體佔用:唔似 transformer 要快取所有先前 token,SSM 保持固定大小隱藏狀態
  • 原生串流支援:循環結構逐 token 處理輸入,無需架構修改即可支援真正串流

簡單講,SSM 嘅架構天然適合實時串流語音呢類需要逐個 token 即時輸出嘅場景,唔使等完整序列處理完先輸出。

Cartesia 聲稱語音 AI 做到 sub-100ms 延遲 點做嘅?乜條件下量到? 資料圖片:Pixabay

Sub-100ms 係乜條件下量到?

Cartesia 聲稱可喺全球規模提供 sub-100ms 嘅 text-to-speech(文字轉語音)同 speech-to-text(語音轉文字),惟延遲數字背後嘅測量條件尚未見披露:

  • 測試環境(網絡配置、GPU 型號、AWS region)未見説明
  • sub-100ms 究竟係端到端延遲定係單個模型推理延遲,未見交代
  • 無獨立第三方測試或公開基準數據

呢啲屬廠商技術宣稱,讀者應按廠商聲稱理解,唔當獨立實測。

Cartesia 聲稱語音 AI 做到 sub-100ms 延遲 點做嘅?乜條件下量到? 資料圖片:Pixabay

部署喺邊、語音資料點保存?

Cartesia 使用 AWS 基礎設施,惟以下項目對企業級語音 AI 應用而言,係評估供應商時必須核實嘅關鍵:

  • 喺邊啲 AWS region 提供服務
  • 用户語音數據嘅保留政策、會唔會被用於訓練
  • 企業條款同數據管轄權

點解呢個重要?

即時語音 AI 正快速擴展到客服、遠距醫療、遊戲 NPC、無障礙工具同外展銷售等場景。傳統 transformer TTS 喺串流延遲上有架構限制,SSM 被定位為解決「質量越高延遲越大」呢個矛盾嘅新方案。但「感覺同人類對話無分別」呢個論述,目前只係廠商嘅產品定位描述。


阿調搞兩下:廠商話 sub-100ms 就 sub-100ms,但邊個獨立量過?用户語音交落去,保留幾耐、用乜做訓練、邊個揸個掣?呢啲先係部署前真正要問嘅嘢。

阿調|深度調教