開機唔使再等下載

AWS 喺 10 月 27 日宣佈，Amazon SageMaker AI 嘅訓練同處理工作正式支援 SOCI（Seekable OCI）索引。舊做法係：個 job 想跑，平台先要把成個容器影像（deep learning 常見幾十 GB 起跳）由 Amazon ECR 全個下載落實、逐層寫到碟，先至開機。呢段時間係純開銷——計費照計，但模型冇學到乜。

SOCI 索引換咗個打法：唔再全個下載，而係用一份「檔案索引」，只撿開機需要嘅檔案即刻開容器，其餘背景流。官方話開機由幾分鐘縮到幾秒，訓練速度唔受影響。

乜嘢係 SOCI

SOCI（Seekable OCI）係開源技術，核心係一份對應容器影像入面每個檔案嘅 metadata，存喺 Amazon ECR 做一個獨立嘅 OCI-compliant artifact，掛喺個原影像上。因為索引係另一件嘢，原有 digest 簽名唔受影響。

採用有兩條路：

  • 直接指向已經預先建好索引嘅 AWS Deep Learning Container（DLC）
  • 自己喺自己嘅影像加索引

官方稱兩條路都唔使改 job definition、entry point 或者 data channel。如果偵測到冇索引，會 fallback 回傳統下載，即加 SOCI 索引唔會令現有 workflow 癲。

點量出

官方喺同一批真實 SageMaker 訓練 job 上，分別用「傳統下載」同「SOCI 索引」兩方式撈同一組影像，跟住跑完整訓練 job 量速度。測試條件：

  • 8 個容器影像，壓縮後 1.8–35.4 GB
  • 實例涵蓋 ml.g4dn、ml.g5、ml.g6、ml.g6e、ml.g7、ml.g7e、ml.p4d、ml.p5 等

按官方報告，GPU 喺「影像拉取期間」嘅空置時間最多減少 90%。個中影響最明顯，係超參數 sweep、快速實驗、短處理 job——原本下載時間占總運行時間很大一塊嘅場景。

對讀者嘅意思

如果你有團隊喺 SageMaker 上跑訓練或者短處理 job，呢個功能唔使改代碼就可以啟用，直接縮開機時間，亦即縮每次 job 嘅計費時間。對跑多輪實驗嘅團隊，節流明顯。

不過要講清楚：呢個係廠商嘅基準數據，唔代表本站實測；實際節省幾多取決於你嘅影像大小、實例型號同網路條件。

阿調搞兩下

大模型訓練嘅金主一直喺度加碼，GPU 貴過金；SOCI 呢類係「幫你唔好白白燒錢」嘅基建層改良，唔係賣你更貴嘅卡，呢樣事話唔好。但同時，90% 呢個數字出自廠商自家測試，唔係獨立第三方；如果你係 serious user，最好自己跑一輪對照，睇自己 workload 下面呢個改良究竟值唔值。

阿調｜深度調教