音訊量好大，錢唔係無限
Deepgram 嘅語音模型覆蓋語音轉文字、文字轉語音同語音 agent，喺一個年度處理超過兩京（quadrillion）音訊 token，服務超過 20 萬名開發者同 1,400 間機構。佢哋用户可以經 Deepgram API 使用，或者喺自己環境（包括 Amazon SageMaker AI）自行運行。
對 Deepgram 嚟講，服務效率決定同一筆基建預算可以處理幾多音訊。大批量離線批次工作（例如客户中心分析、醫療轉錄）對呢個預算壓力好大——每一枚加速器時用得幾有效，決定同一班硬件可以 serve 幾多音訊。呢個就係為乜推理效率成為目標，而佢哋選擇同 AWS 合作，將 Nova-3 語音轉文字模型搬上 Trainium2。
點搬、點調校
整個遷移由 Deepgram 交付標準 PyTorch 代碼開始，經數個月同 AWS 前線部署工程（FDE）團隊合作，最終將 Nova-3 重構為適合 Trainium2 嘅架構。技術路徑包括：使用 TorchNeuron（Neuron Compiler 嘅原生 PyTorch 整合）先以 eager mode 跑模型，找出 fallback 返 CPU 嘅操作，再經 torch.compile 編譯，使全部模型操作喺 Trainium2 上執行、無 CPU fallback；編譯時將 encoder 同 decoder 分別作為靜態 shape 圖處理。準確度檢查分兩層：對照 CPU 嘅逐層輸出一致性，同最終 Word Error Rate（WER）與 Deepgram 參考值保持一致。其後以公開 NKI Library（NKILib）嘅預建 fused kernel 替換多個層，包括 fused QKV 投影、fused FFN 層同 depthwise 1D 卷積。
結果：每美元多處理幾多
最終配置喺單台 Amazon EC2 trn2.3xlarge 實例上運行八個模型副本。Deepgram 喺離線、吞吐量導向嘅批次工作負載下量度，該配置每美元處理嘅音訊較佢哋原有計算選項高 11–70%（以評估時嘅實例定價計量）。
呢個係由 AWS 自家技術部落格披露嘅數據，冇獨立第三方核實，亦未公開具體對照基線（邊款計算選項、邊個時段、邊個負載組合）。對讀者嚟講，呢組數字有參考價值，但應當作廠商聲稱嚟睇。
阿調搞兩下
呢篇博客本質上係 AWS 嘅產品展示，將 Trainium2 嘅商業價值同一個真實大客户綁喺埋一齊。11–70% 嘅寬幅本身就值得留意——呢個幅代表唔同負載密度或對比配置，但冇公開拆解。另外，呢個係「離線批次」工作負載，唔代表即時語音對話嘅延遲表現，兩者係完全不同嘅工程指標。如果你係開發者想部署語音模型，呢個案例提供一個具體嘅推理優化路徑參考，但代碼同模型未開放，外部無法重現或查證。
