亞馬遜(Amazon)19 日推出名為 TorchNeuron 的新開發工具,宣稱開發者幾乎唔使重寫程式,就可以將以 PyTorch 編寫嘅 AI 工作負載直接搬上自家 Trainium 晶片執行。呢招明顯係針對輝達(NVIDIA)喺 AI 運算市場多年建立嘅軟體優勢。

PyTorch 係由 Meta 維護、目前最廣泛使用嘅 AI 開發框架之一。輝達過去十多年集中打造 CUDA 軟體生態系,確保 PyTorch 喺自家晶片上跑到最佳效能,形成好強嘅開發者黏著度。換晶片最貴嘅唔係晶片本身,而係呢一層軟件套路。TorchNeuron 要解決嘅,正正係呢個工程門檻。

根據亞馬遜 Annapurna Labs 嘅説法,TorchNeuron 只需做一次設定變更就可以運作,唔需要重新改寫應用;整套軟體將免費並以開放原始碼形式釋出,並喺矽谷開發者大會上正式亮相。

目前 TorchNeuron 已進入公開測試階段,支援 Trainium2 同 Trainium3。亞馬遜話已有超過 30 家早期客户喺用呢個工具,涵蓋機器人、世界模型(World Models)同語音 AI 等領域,部分客户稱搬到 Trainium 後有顯著成本節省。

而第一版仍有部分 PyTorch 功能尚未支援,所以「免改寫」仲未係完全事實。另外「免費」同「開放原始碼」係兩個獨立條件,具體授權條款要自行核對。

模姐驗嚇貨

「改一次設定就可以搬走」呢句好銷力,但「免改寫」唔等於「無代價」。第一版有冇覆蓋你嗰程式用緊嘅核心算子、訓練同推理效能同 CUDA 版本有幾遠、成本節省有冇第三方數字對帳——呢啲都係廠商 PR 文唔會答嘅嘢。晶片可以自研,但生態係靠幾十年同幾億開發者堆出來;一套中間件能否真係填走呢個缺口,先睇獨立測試。

模姐|深度調教