Nvidia 週三(28 日)推出 Nemotron 3.5 Transcribe,一個免費、開放權重(open-weight)嘅多語言語音轉文字(speech-to-text)模型,同時放出一套數據集同工具俾開發者微調。呢個係一個混合專家(mixture-of-experts, MoE)架構:總參數 300 億,每次推理活躍嘅係 40 億,所以能夠喺單塊 GPU 上運行。

同傳統轉寫流程要逐步「偵測語音 → 轉寫 → 標記講者 → 答問」唔同,Transcribe 喺單次模型 pass 做晒全套。Nvidia 表示佢可消化並答問長達 100 小時嘅音頻,支援 40 種語言,同英文互譯可覆蓋 31 種語言,並能標記最多 8 個講者。

硬件上,Nvidia 稱佢由邊緣到數據中心都跑得動:單塊 GPU 就夠,由 Jetson AGX Thor(機械人邊緣計算)、DGX Spark(桌面級 AI 超級電腦)一直到大規模部署嘅 Blackwell 數據中心晶片。佢話,塊 Blackwell Server Edition GPU 用 NVFP4 精度加四分之一(one-quarter)模型壓縮,可以喺唔到三分鐘處理 100 小時音頻。

準確度方面,Nvidia 自報嘅數字係:模型出廠即有(out of the box)字錯率(word error rate, WER)30.8%,用妥當 prompt 可拉低到 20.8%;若喺特定領域微調,喺 Eka Care 印度醫療語音基準上 WER 跌至 11.8%。Nvidia 亦話佢喺 Hugging Face Open ASR Leaderboard 上勝過對手。

同一輪,Nvidia 亦放出 Granary v2——佢嘅多語言公開語音數據集。公用 manifest 覆蓋 463,062 小時、48 種語言、16 個語料庫,較 v1 嘅 25 種語言有大幅擴充。Nvidia 特別註明:呢組數字描述嘅係數據集發布,唔係 Transcribe 嘅完整訓練混合或取樣權重。Granary v2 為每段錄音生成三種「verbatim」轉寫風格:保留「嗯」「啊」等口頭禪嘅全記錄、將數字轉成符號嘅精簡版、以及去除填充詞嘅清理版,可透過 prompt 向 Transcribe 索取。

模型已有 Hugging Face demo,開發者可下載 checkpoint,再用 Granary 數據同 NeMo Speech 等工具針對行業術語微調。目標應用很直接:商務會議同醫療轉寫。

最大限制:只食錄音,唔聽直播。 Transcribe 處理嘅係錄好嘅音頻檔,唔支援即時語音流。對需要即時跟住講嘅應用(例如實時會議字幕),呢個模型唔夠用。

阿調搞兩下:呢個發布最實際嘅嘢,唔係「40 種語言」呢個大數,而係佢敢放開放權重、又敢放數據集、又敢放微調 pipeline。開發者唔使俾月費、唔使問金主許可,直接落手改。但兩樣要睇清楚:一、呢度冇任何本站實測,所有 WER 同速度數字都係 Nvidia 自報;二、佢唔識跟直播,呢條線對「即時」應用係硬傷。開放權重唔等於完整開源,下載到 checkpoint 同「完全開源」係兩回事,授權細節要自己核。

阿調|深度調教