Dell指全球80% token三個月內轉由開放模型生成　推理成本驅動混合式部署

Dell Technologies 喺本月底嘅 Dell Technologies New York Symposium 上，透過銷售副總裁 Kyle Dufresne 同 theCUBE Research 嘅 Dave Vellante 嘅專訪，披露咗企業 AI 部署嘅最新趨勢：token 來源喺三個月內由前沿模型轉為開放模型，推理成本推動工作負載向邊緣遷移，數據控制權成為採購條件。

Token 經濟學急轉彎

Dufresne 講嘅關鍵數據：「三個月前，80% 嘅 token 係由前沿模型（frontier models）生成；三個月後，全球 80% 嘅 token 係由開放模型（open models）生成。」佢指原因簡單直接：「因為成本。而家人人都在講 tokenomics。」

呢個轉型速度相當快，反映企業喺模型選擇上由貴嘅閉源前沿模型轉向成本較低嘅開放模型。

推理成本推動邊緣化

Dufresne 補充指，推理（inference，即模型實際運算產生輸出嘅過程）現正增長快過訓練（training）。Dell 嘅觀察係推理工作負載會喺數據產生嘅位置運行——雲端、數據中心，甚至喺個人電腦（PC）——趨勢係日漸向「邊緣」推進。

「我哋見到業務負責人講，‘天啊，推理成本好高，點樣減成本同時唔窒礙創新？’」Dufresne 話。

數據控制權成新變量

成本之外，Dufresne 指出企業而家開始按三個維度重新定價 AI：工作負載喺邊度跑、用邊個模型、數據放喺邊。公司要決定係咪想將數據同核心競爭力外包。

Dell 將最新 AI Factory（配合 Nvidia 更新）定位係幫客户喺自己控制嘅基礎設施上出成果。

「我哋見到全球每一個部署咗呢類架構嘅 CFO 都講，‘老天，我哋嘅 token 成本爆炸咗’，‘點樣將成本降落去？’」

記憶體供需缺口

Dufresne 亦提到供應端壓力：記憶體價格正在推高技術成本，佢估計明年市場記憶體供應只增約 20%，但需求將增約 200%。Dell 嘅應對係同客户協作規劃，將客户導向較容易取得嘅元件，並提前通報即將到嘅成本漲幅。佢話不少客户發覺自己嘅資本成本（cost of capital）低於元件通脹，所以選擇提早採購。

Dell 表示超過 6,500 間企業已採用 Dell AI Factory with Nvidia updates。