Prime Intellect 推出 Prime Inference，一個兼容 OpenAI 接口嘅推理平台，專門提供前沿開源模型嘅推理服務，底層算力用 NVIDIA Blackwell。官方公佈嘅 GLM-5.3 部署，技術棧用上 Dynamo、vLLM 同 NVFP4 KV 壓縮，每個 prefill 組可服務 66 個 session，每人每秒 101 token。

呢個係產品發布消息，以下性能數字全部由廠商公佈，唔係本站獨立測試。

呢個嘢係乜

Prime Inference 提供兩種部署模式：serverless（隨用隨開，唔使管理底層 GPU）同預留式（reserved，長期保留資源）。佢兼容 OpenAI 接口，對接 OpenAI API 格式嘅既有工作流可以轉用呢個平台。

技術棧度，vLLM 係推理引擎；NVFP4 KV 壓縮係壓縮模型推理時逐步建立嘅 key-value cache；prefill 係輸入 prompt 被處理嘅階段。

對讀者有乜用

對想跑前沿開源模型但又唔想自己管 GPU 嘅團隊，serverless 部署就係呢個平台嘅賣點之一。用慣 OpenAI 接口嘅開發者，可以將請求轉指過去。

模姐驗嚇貨

66 sessions per prefill group 同 101 tok/s 均係廠商公佈嘅數字，本站冇獨立測試，亦冇第三方基準可核對。評估任何推理平台，建議跟住問：用邊型 Blackwell、幾多張卡、跑邊個尺寸嘅模型、乜上下文長度、batch 點設。開源模型部署，權限邊個揸、成本邊個揸，用之前問清楚先。

模姐｜深度調教