2026 年 10 月 12 日，AWS 喺官方機器學習博客發出教程，介紹點樣用新推出嘅 multi-node Ray LLM Deep Learning Container（DLC），喺 Amazon Elastic Kubernetes Service（EKS）上面用兩台 GPU 節點部署同一個大型語言模型，並提供一個 OpenAI 兼容嘅 API 端點。呢個容器專為 prefill/decode 分離式推理（prefill/decode disaggregation）設計：一台機專做 prefill，另一台機專做 decode，兩台機共同對接同一個端點。
點解要將 prefill 同 decode 拆開？
LLM 推理分兩個階段。
Prefill（預填充）將用户輸入嘅整個 prompt 並行處理，建立 key-value cache（KV cache）；呢個階段 compute-bound，即係吃算力。
Decode（解碼）逐 token 生成回應，讀取同延伸個 cache；呢個階段受 memory bandwidth 限制，對延遲敏感。
當兩個階段喺同一張 GPU 上面運行，compute-heavy 嘅 prefill 會同穩定期嘅 decode 爭資源。一段長 prompt 嘅 bursty prefill 工作會阻塞已經進行緊嘅 token 生成，令延遲上升。分開之後，可以為每個階段獨立揀硬件及調校服務參數。
AWS 指出呢種架構特別適合 RAG（Retrieval Augmented Generation，檢索增強生成）、文件摘要同 agentic applications 呢類 workload。
入面有咩？
呢個 DLC 預先打包咗以下組件：
- Ray Serve LLM（Ray 係一個分佈式運算框架，Ray Serve 係佢嘅模型服務層）
- NVIDIA Inference Transfer Library（NIXL）：NVIDIA 嘅節點間數據傳輸庫
- Elastic Fabric Adapter（EFA）：AWS 高頻寬網絡棧
- OpenAI-compatible API：唔需要寫 application code，直接對接現有 OpenAI 兼容客户端
AWS 強調，此前用多節點 Ray Serve 部署模型嘅開發者，需要自己揀兼容嘅 GPU 庫、調試各組件錯配嘅問題，呢種「undifferentiated work」耗費大量時間。DLC 將全部推理棧打包入一個經測試嘅 Docker image，開發者可以直接 pull 嚟用。
同單機版有乜分別？
AWS 喺早前一篇博客已介紹過單節點版 Ray Serve DLC，可喺一台 GPU 機上建立 HTTP 推理端點，並保持 CUDA 等 GPU 棧兼容。今次嘅多節點版本將同一個思路擴展到跨節點部署，支援張量平行（tensor parallelism）、管道平行（pipeline parallelism）及數據平行（data parallelism）。
阿調搞兩下
呢個係針對企業級推理基礎設施嘅更新，唔係面向散户。重點唔係「AI 又進化了」，而係：運行多節點推理嘅工程成本降低咗。以前開發團隊要自己調 GPU 棧兼容性、除錯節點間通訊，而家呢個「undifferentiated work」被打包入容器。對要跑大模型推理嘅團隊嚟講，呢個省返嘅時間可以放喺模型微調同應用層，唔係基礎設施。但要注意：呢個係厂商提供嘅功能解説同部署教程，並非本站獨立測試，效能數字以實際 workload 為準。
