TorchNeuron 公測：HF 模型一鍵落 AWS Trainium，免再寫編譯器語法

由「編譯器模式」轉「native 裝置」

TorchNeuron 係一個 PyTorch 外掛，2026年10月20日起開放公測（public beta）。之前喺 AWS Trainium（訓練用）及 Inferentia（推理用）上運行 Hugging Face 模型，要經 Optimum Neuron 呢個包去包，因為 Trainium 走緊 PyTorch XLA，開發者要「寫嘢好似 compiler 噉」——lazy tensor 取代 eager execution、只認 static shape、每當 graph break 就重編。TorchNeuron 改咗呢個局面：直接將 neuron 暴露為 PyTorch 原生 device，支援 eager mode、torch.compile、DTensor、FSDP2 同張量平行（tensor parallelism, TP）。

HF 庫原封不動直接用

呢個意思係 Transformers、Diffusers、Accelerate、PEFT、TRL 五個庫喺 Trainium 上，同喺其他加速器上寫法完全一樣。Hugging Face 由今起建議用户直接用呢幾個庫，唔使再經 Optimum Neuron。文字生成方面，用 TorchNeuron 喺 89% 個最常用（top 100）文本生成模型架構上即開即用，對比 Optimum Neuron v0.4.5 只覆蓋 46%。用法就一行：device_map=neuron。

示例程式碼（來源博客提供，以 Qwen3.8-27B 做示範）：

import torch_neuronx
from transformers import AutoModelForCausalLM
# dist.init_process_group(backend="neuron")
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3.8-27B",
    dtype=torch.bfloat16,
    distributed_config=DistributedConfig(tp_size=world_size),
    device_mesh=DeviceMesh("neuron", list(range(world_size))),
)
# generation_config 帶 static cache，預防頻繁重編

安裝：pip install torch-neuronx。

模姐驗嚇貨

呢個唔係又一個「模型更勁」嘅新聞，而係開發鏈上少一個轉頭。以前想喺 AWS Trainium 上跑 HF 模型，要記住 Optimum Neuron 嘅一套「compiler 邏輯」；由而開始，Trainium 就係個「同 GPU 一樣嘅 device」，用户唔使學第二套 API。89% 對 46% 呢個數字，值得留意佢哋講嘅係「模型架構」覆蓋率，唔係單一模型；具體到你想跑嘅個模型，要自行核實。公測期（beta）內穩定性、重編行為、多卡 TP 下嘅真實效能，官方冇提供第三方數據，本站亦未實測。想落手嘅話，pip install torch-neuronx 先試嚇。

模姐｜深度調教