同一個指令，三條訓練路徑
AWS machine learning blog 喺 2026 年 10 月 21 日刊出技術指南，示範點用 PyTorch 大模型訓練框架 torchtitan（large-scale transformer training framework）喺自家 Trainium 晶片上訓練 Qwen3。重點係：喺單台 trn2.48xlarge 實例上，同一個 torchrun 啟動模式，對應到三種唔同嘅後端配置。
三種配置，同一個啟動
三種方法各自獨立，共用同一個 config 結構：
- Transformers v5 後端：torchtitan 透過
AutoModelForCausalLM（自動載入 causally-masked 語言模型嘅介面）載入 Hugging Face Hub 嘅模型定義，直接讀寫公開嘅 safetensors 權重檔。前向同反向傳播都用 Hub 模型定義提供嘅實作。 - torchtitan 原生 Qwen3：將
config.model_spec切換到 torchtitan 自帶嘅 Qwen3 實作。 - NKI MoE kernel：喺上面基礎上加入 Neuron Kernel Interface（NKI）嘅 mixture-of-experts（專家混合，MoE）kernel，來自 torchtitan-neuron 食譜，並透過 torchtitan 嘅 override registry 掛載自訂 kernel。
TorchNeuron 將 Trainium 註冊為原生 PyTorch 裝置，so torchtitan 可以經標準 PyTorch 介面直接使用，唔使改寫任何現有 code。
點樣部署同限制
每種配置啟動 64 個訓練 process，每個 process 對應一個 NeuronCore；data parallel 設定將模型 sharding 到全部 64 個 ranks。
執行前需要：AWS Deep Learning AMI for Neuron 或 Neuron PyTorch 訓練容器（兩者均提供 Neuron driver、runtime 同 compiler）；由 Hugging Face Hub 下載 Qwen3 模型檔，存於本地目錄後傳入 training config。
可以做：pre-train（由隨機初始化開始）或 fine-tune（由已發布權重出發）。
要注意：安裝 torchtitan-neuron 時需用 --no-deps，以保留 Neuron 版 torch 建置；Transformers v5 整合及 Trainium 特定 override 模組會隨 torchtitan release 而變化，跟隨該指南時要 pin 住特定版本。
阿調搞兩下
呢份指南嘅實際意義，唔係「又多加咗幾個 kernel」而止。真正值得留意嘅係：train Qwen3 而唔需要 NVIDIA GPU 呢條路，技術上已經打通，而且同一個 torchrun 指令。對冇大 GPU 集群預算嘅團隊嚟講，呢個代表 Qwen3 fine-tuning 嘅硬件選項，多咗一個非 NVDA 嘅選擇——至少喺 AWS 生態內如此。
但同陣，呢篇係技術指南，唔係獨立實測。64 個 NeuronCore 跑滿 4B 參數 Qwen3 嘅實際收斂時間、記憶體壓力、同 GPU 路徑嘅成本比較，材料未提供。想跟做嘅讀者，記得跟住官方版本 pin 住跑，唔好直接照抄而唔查 release notes。
阿調｜深度調教
