業界分析指,限制 AI 效能嘅關鍵已唔止運算能力本身,而係資料能否跟上 GPU 嘅速度,昂貴運算資源因而閒置,拖慢訓練週期同商業回報。

企業近年砸巨資購入 GPU、建算力中心,但業界愈來愈明確指出:真正拖慢 AI 嘅唔係運算,而係資料送唔到。GPU 成排空轉,等資料入倉,訓練時間被拉長,新服務上市亦被迫延後。根據相關分析,大型 AI 工作負載通常分散喺唔同區域,甚至跨越多個資料中心同雲端環境運作,令網路效能不再只係技術問題,亦直接影響商業回報。只要少數連線出現延遲、故障或資料不一致,其他 GPU 就可能因為缺少輸入而被迫等待。

NetApp 印度同南亞區主管 Premalakshmi Ramakrishnan 就形容,好多企業已經建好 GPU 叢集、完成模型微調,但喺擴大 AI 應用時仍卡關,原因往往係資料唔喺正確位置、格式唔對,或缺乏足夠治理。佢指出,企業投入大量資本支出購買 GPU,但資料輸入輸出需求卻冇同步跟上,令儲存層成為「沉默的效能殺手」。

「運算能力進化快過 I/O」

NetApp 工程主管 Vasanthi Ramesh 亦強調,運算能力提升嘅速度遠快於網路與 I/O 層嘅演進,真正嘅瓶頸已經由晶片層下移到資料移動同網路傳輸層。佢話,企業唔應該將 AI 基礎設施睇成「不斷加碼 GPU」嘅競賽,而要喺架構層面打通呢道障礙。

GPU 排大隊等資料:AI 基礎設施「隱形瓶頸」曝光 資料圖片:Pixabay

訓練場景壓力特別大

研究顯示,訓練頂尖 AI 模型所需嘅運算能力,每年可能增加 4 至 5 倍;單一 GPU 機架或叢集就可能處理以 TB 計算嘅資料量,未來甚至可能達到數百萬 GB 等級。

與傳統企業應用主要處理使用者請求唔同,AI 會產生大量所謂「東西向流量」(east-west traffic),即資料喺處理器、儲存同唔同工作負載之間頻繁移動。正正因為呢種高頻資料流動,連線一出問題,成個訓練就要停下來等。

業界應對:由「加卡」轉「加網」

喺呢個背景下,業界開始推動更分散式嘅架構設計,令運算與儲存可以更獨立擴充,將焦點由單純增加算力,轉為提升 I/O 同網路層效率。隨資料愈分散於超大規模雲端、AI 基礎設施同地端系統之間,如何令資料快速、可靠且可治理地送達 AI 系統,正成為企業能否將 AI 投資真正轉為成果嘅關鍵。

模姐驗嚇貨:呢次唔係單一廠商嘅跑分,而係業界對基礎設施瓶頸嘅共同判斷——算力已經唔再係唯一變數。真正要問嘅係:邊家供應商嘅 I/O 同網路架構,真係跟得上每年 4–5 倍嘅算力增速?數據中心嘅資料治理,又係咪要先補課,定係要等到 GPU 再貴一倍先開始處理?


模姐|深度調教