塊卡切幾份，先至慳得位

Amazon 於 2026 年 11 月 6 日公告 SageMaker Inference 支援 GPU 分割（GPU partitioning），採納 NVIDIA Multi-Instance GPU（MIG，即「多實例 GPU」）技術，將一塊實體 GPU 分成最多七個獨立分區，各分區有固定嘅運算單元、快取、記憶體同記憶體頻寬，隔離喺硬件層面執行。

舊做法點解唔掂

依 AWS 嘅描述，以前喺 GPU endpoint 部署模型，最小請求單位係整張卡。ml.p4d.24xlarge 有八塊 A100，就只可以放八個模型，無論每個模型實際需要 40 GB 定 14 GB 都一樣。

同時，隨着 concurrency 同 prompt 長度增加，舊型卡嘅整卡可能唔夠用，新型卡嘅整卡又超出模型真正需要嘅容量，結果要嘛服務唔夠、要嘛為用唔到嘅算力買單。

之前有三條路，各有短板

按 AWS 嘅描述：

  • 少部署、大 batch：只適合模型之間可互相替換嘅情況；fine-tuned 變體或 per-tenant 模型唔適用。
  • Multi-model endpoint：按需求載入／卸載模型，適合稀疏突發流量，但模型共用同一裝置而無隔離，一個模型嘅重請求會影響其他模型；未載入嘅模型首次使用要付載入時間代價。
  • 自建 Kubernetes：MIG 喺自管 Kubernetes 上可以運作，但需要自行處理 driver 版本、分區配置、device plugin、排程同整個 fleet 嘅一致性。

硬件隔離提供咗乜

  • 延遲可預測：每塊分區有專屬記憶體頻寬，一個模型嘅流量高峰唔會出現喺另一模型嘅 p99 延遲上面。
  • 故障隔離：崩潰或記憶體錯誤被限制喺所在分區內。

邊個唔受影響

單模型 endpoint、serverless endpoint 同 heterogeneous instance pool 目前唔支援 partitioning。分區功能建立喺「inference components」機制上面，即喺同一 endpoint 部署多個模型並為各模型設定計算資源嘅構造；分區就係 component 喺申請 CPU 同記憶體嘅同一位置申請嘅資源。

MIG 最多可分七個，「視乎 GPU 型號」——並非所有 NVIDIA GPU 都支援，亦非所有都能分七個。

阿調搞兩下：延遲同故障隔離嘅保證全部來自 AWS 自己嘅口徑，本站未做獨立實測。用 SageMaker 嘅企業應該跟住個分區粒度去揀算力，但揀到先算數。

阿調｜深度調教