一問 AI 要乜最貴,十個老細有九個會話 GPU——成排加速器、幾 GW 電量、仲有等貨單。但有嘢佢哋冇計入:每次模型出回應之後,堆喺後台嘅數據,堆喺邊度?
呢篇由 Western Digital(WD)贊助、刊喺 MIT Technology Review 嘅文章指出,數據儲存係 AI 基建入面較難規劃嘅其中一項成本,往往喺初期規劃時被忽略。
點解推理會越堆越多?訓練(training)係一次過嘅項目,開波就燒完算力,冇嘢留下。但推理(inference,即模型每收到一個 prompt 就生成回應)係連續運行嘅——每一次都喺後台留低嘢:日產嘅 prompt、圖片、影片,全部要儲存。
WD 嘅內部量度:一段 8 秒嘅 AI 生成影片,用户收到嘅係一個 3.97MB 嘅 720p 檔案,但後台留有超過 500MB 相關數據——log、快取上下文、即時渲染、備份、安全記錄——大約係用户見到嘅檔案嘅 130 倍。如果企業要做長時間、高解析度嘅影片,呢個後台足跡可以脹到每段幾百 GB。
McKinsey 預測推理需求到 2030 年有 35% 年複合增長率(CAGR),訓練係 22%,到 2030 年推理會佔數據中心總需求嘅 40% 以上。
WD 贊助 IDC 做咗一份全球調查,問咗 763 名 IT 及商業決策者:近 12 個月,近 95% 話生成式 AI 令數據量上升,約 61% 話升幅 25% 或以上。
一個 hyperscale 雲服務供應商嘅高級產品經理喺報告入面話:「多一點儲存,可以視作讓 GPU 保持忙碌嘅優化——GPU 閒置等數據係最貴嘅,每小時都好快變得好貴。」翻譯成人話:儲存如果每年升 25%,算力預算按週期升,儲存開支會超過最多人關注嗰一筆。
仲有另外一層:以前入咗冷儲存嘅舊資料,而家會再變成推理或 RAG(檢索增強生成,Retrieval-Augmented Generation,即揾唔到嘅知識就現揾入庫再用嘅方法)嘅輸入。同一份調查:96% 受訪者預期要更快嘅舊檔檢索,去支援推理或 RAG。
模姐驗嚇貨:全文係 WD 出錢嘅贊助內容,連引用嘅數字(130 倍、500MB、95%、96%)都係來自 WD 內部量度同 WD 贊助嘅 IDC 調查。數字要照此理解。核心觀察——推理唔似訓練會停,數據會不斷堆積,儲存開支會慢慢追過算力預算——個邏輯本身唔錯,但係「有利益關係嘅一方,講緊自己產品嘅需要」。
模姐|深度調教




