推理先係 AI 雲嘅第二波

GPU 雲嘅第一波賣相，係訓練。但 CoreWeave 產品同 AI 服務副總裁 Urvashi Chowdhary 喺 Fully Connected 大會上講明，下一波係 inference（模型推理，即部署後真正對外提供答案嘅階段）：「部署模型要更快、更平，先會定義下一個階段。」

佢喺 SiliconANGLE Media 旗下直播室 theCUBE 接受 theCUBE Research 嘅 Dave Vellante 同 John Furrier 訪問，話唔夠止於堆卡，要落埋儲存、網絡同軟件，做訓練、後訓練同推理嘅「全棧託管服務」。

數字擺喺度

theCUBE Research 對 CoreWeave 客户及潛在客户嘅調查，一個醫療行業客户嘅推理工作負載佔比，第一年大約 10%、第二年 40%，預計 12 個月內升至約 50%。

CoreWeave 嘅回應係逐層調教硬件之上嘅每一層：由 vLLM 推理引擎，到量化（quantized）模型，再落自訂嘅 specul…

（正文繼續，見下方正文。）