算力與部署
AWS推TorchNeuron，AI模型轉Trainium換晶片唔使再改一套
AWS 推出 PyTorch 擴充套件 TorchNeuron，開發者通常只須改一改程式指定的運算裝置，就能將現有訓練及推論流程轉到自家晶片 Trainium，公開測試版已支援 Trainium2 與 Trainium3。
算力與部署
算力與部署
vLLM Elastic EP 擴縮停機由197秒縮到不足2秒
vLLM 團隊透過非同步預備同 NIXL EP，將彈性地專家並行部署嘅 GPU 擴縮停機由重啟方式嘅 197 秒壓到 0.82 秒，幾乎唔影響推理服務。
算力與部署
TorchNeuron 公測：HF 模型一鍵落 AWS Trainium，免再寫編譯器語法
10月20日起開放公測，用家唔使再走 Optimum Neuron，直接以 device_map=neuron 落 Transformers 等原生庫，支援 89% 頂 100 主流文本生成模型。
算力與部署
Deepgram 語音模型搬上 AWS Trainium2 同一班硬件多處理最多七成音訊
Deepgram 同 AWS 工程團隊合作用咗幾個月，將 Nova-3 語音轉文字模型搬上 Trainium2，喺離線批次工作上每美元多處理 11–70% 音訊——但呢組數字係由 AWS 自家嘅技術部落格披露。
算力與部署
AWS 改 push 傳 KV cache：vLLM 分離推理 TTFT 快至 3 倍
AWS 將 vLLM 嘅 KV cache 傳輸由「拉」改「推」，把轉送協調搬離關鍵路徑；P5en 集群跑 Qwen3-32B 量出 TTFT 改善達 3 倍、TPOT 改善 30%，惟數值取決於 workload 同配置。
算力與部署
vLLM 新增雙向 KV 傳輸 長對話 AI 延遲最高降 3.3 倍
AWS 喺 vLLM 推理引擎加入雙向 KV cache 傳輸，令 prefill 同 decode 節點跨輪次重用已計算嘅上下文，多輪 agentic 工作負載嘅 TTFT 最高可降 3.3 倍。
算力與部署
商湯大裝置講AI推理「調教」：日均6萬億Token，吞吐量號稱5倍
商湯大裝置CTO宣善明喺CSDI Summit透露，AI應用轉向多Agent協作同長任務，Token需求呈千倍增長，靠PD分離、AF分離等異構推理架構，喺特定測試配置下吞吐量提升至5倍。
算力與部署
記憶體狂漲冇嚇到邊個 RTX Spark 買家反手直上 64GB、128GB
NVIDIA 喺台北推出全新 RTX Spark，早期需求指標顯示，儘管全球記憶體價格近期大幅飆漲，買氣反而高度集中在 64GB 與 128GB 統一記憶體嘅最高階配置。
算力與部署
NVIDIA 開源 Run:ai GPU 調度平台 Apache 2.0 授權
NVIDIA 將 Run:ai Kubernetes GPU 調度平台以 Apache 2.0 授權開源，包括 KAI Scheduler、CUDA 13.4 分片、配額管理同本地 Kind 開發環境。
算力與部署
Muse Spark Open 一上市 vLLM 已接住 816B MoE 跑 NVIDIA、AMD 同 TPU
Meta 開放 Muse Spark Open 嘅 vLLM 支援喺首個週末就出爐：816B 參數 MoE、1M context、多模態、DSpark 推測解碼，NVIDIA 同 AMD 都有預建映像，TPU 初始支援。
算力與部署
SSM層做快返工 NVIDIA同普林斯頓聯手出ReplaySSM
NVIDIA同普林斯頓 Dao AI Lab 聯手出 ReplaySSM，把 SSM 層由長上下文嘅瓶頸變返做快嘅部分，已整合進 TensorRT-LLM、vLLM、FlashInfer，並喺 GLM-5.3-Flash、Kimi-K3 實戰運行。
算力與部署
AWS 出多節點 Ray LLM 容器 兩 GPU 機分手做 prefill 同 decode 唔阻塞
AWS 推出新多節點 Ray LLM Deep Learning Container，喺 Amazon EKS 用兩台 GPU 機分別處理 prefill 同 decode，統一 OpenAI 兼容端點，專治長 prompt 卡住生成嘅癆症。
算力與部署
AWS 出教學：用 llama.cpp 喺 SageMaker 部「決策模型」，返概率唔洗逐字生成
AWS Machine Learning Blog 發布技術教學，喺 Amazon SageMaker AI 用 llama.cpp 部量化模型，再經 SemIf（前稱 OpenJev）做結構化決策，直接返選項概率而唔使解碼生成文字。
算力與部署
NVIDIA 將 Vera Rubin 機櫃設計交 OCP 開放 250kW 架構等業界採納
OCP Global Summit 上，NVIDIA 透過 MGX 架構貢獻 Vera Rubin 機櫃同計算托盤設計，MGX 1.2 規格支援高達 250kW 機櫃部署，並開源 DSX AI Factory 軟件組件。
算力與部署
Token 越平 GPU 越貴 AI 需求成「賈文斯悖論」
a16z 引用 Ornn、Silicon Data 同 Bloomberg 數據，發現 AI 市場出現「賈文斯悖論」：token 單價持續下跌，H100 GPU 租賃價卻保持平穩甚至上升。若需求放平，由晶片、記憶體到電力、雲端嘅供應鏈都會受擊。
算力與部署
矽谷算力大戰：Anthropic 找 SpaceX 代購 GPU，VC 開始自己囤晶片
今年5月 Anthropic 同 SpaceX 簽協議，涉及 22 萬塊英偉達 GPU、超 300 兆瓦新容量。SemiAnalysis 數據指 H100 一年期租價漲近四成，矽谷 VC 亦開始替被投公司囤積 GPU。
算力與部署
數據中心電荒 研究者話最易嘅解藥係讓軟件做更少嘅嘢
到 2030 年 AI 用電料達 945TWh、約等於日本今日用電。PUE 六年幾乎冇變，但 FP8 推理慳三分之一電、訓練優化最多省三成。
算力與部署
私人AI入你部機 Liquid AI 話裝置先至真「識」你
Liquid AI 營運總監 Jeffrey Li 喺 Fully Connected 場合指，私人 AI 嘅主場應喺用户身邊裝置；Liquid Context 已為 Snapdragon 晶片優化，公司同 Mercedes-Benz 有車載 AI 合作。
算力與部署
vLLM 落住 Vera Rubin NVL72 官方話吞吐量係上一代 7.8 倍
vLLM 宣佈喺 NVIDIA Vera Rubin NVL72 上運行，Day-0 支援 DeepSeek、Kimi、GLM、MiniMax；官方早期數據喺 AgentX 基準下每 GPU 吞吐量達 GB200 NVL72 嘅 7.8 倍。
算力與部署
AI 任務邊個地方運行最啱？Seismora 做個「調度盤」幫你分發
美商 Seismora 開發「認知路由」控制平面，自動決定 AI 工作負載喺手機、邊緣定雲端運行。係廠商話，仲冇獨立測試。