開源咗,但開源乜

DeepSeek 喺台北時間 10 月 20 日下午 5 時 30 分透過官方 X 帳號宣佈,將內部推論框架 DeepInfer 開源,並同步開放 deepseek-recipe。官方稱呢個框架「大規模支撐」緊 DeepSeek-V4.1-Flash 嘅線上服務,希望協助社群降低算力成本同能耗。程式碼已上 GitHub,採 Apache 2.0 授權。

貼文寫「完全開源」。但翻入官方 README,情況就冇咁簡單:DeepInfer 此版本只提供離線推論。KV 快取系統、Prefill/Decode 分離部署、跨副本負載平衡,全部未包含。

要跑一個真正嘅生產級大模型推理服務,呢樣嘢係唔可以冇嘅。DeepInfer 而家係「可以離線跑 V4.1-Flash」,唔係「可以架起 DeepSeek 線上服務」。呢個分別,係呢單開源最唔同尋常嘅地方。

大係大喇,邊度勁

README 列明以下要點:

  • 授權:Apache 2.0
  • 支援模型:目前僅 DeepSeek-V4.1-Flash(官方稱未來新模型也會放進同一儲存庫)
  • 硬體支援:Nvidia SM100 世代 GPU 同華為昇騰 950 NPU
  • 功能:專家平行(MoE EP)、以草稿 token 加速解碼嘅 DSpark、結構化輸出;確定性取樣(相同輸入產生相同結果)僅限 Nvidia 平台
  • 基於:主要建於開源專案 vLLM 之上,並參考 SGLang 及 TensorRT-LLM
  • 效能測試配置:4 張 GPU 跑 Prefill、64 張 GPU 跑 Decode

同步開源嘅 deepseek-recipe 採 MIT 授權,以 Rust 撰寫,提供 Python 綁定。佢負責將 Chat Completions 等格式請求轉為 DeepSeek V4/V4.1 提示詞,並處理 token 編解碼,讓第三方部署能貼近官方 API 行為。

時間線

呢單開源唔係獨立事件。V4.1-Flash-1017 權重喺 10 月 17 日已上架 Hugging Face,DeepInfer 預設下載嘅就係該版本權重。而 10 月初,DeepSeek 已先行開源華為昇騰相關元件。由昇騰元件到 V4.1-Flash 權重,再到今日嘅 DeepInfer,時間線係連貫嘅。

模姐驗嚇貨

「完全開源」四個字,貼文同 README 各講各嘅嘢,呢個落差本身就係一個訊號。推論框架嘅離線版可以幫你本地跑模型,但離線版本嘅「推論」,同生產級線上服務之間,隔住 KV 快取、分離部署、負載平衡,加埋一層你目前睇唔到嘅程式碼。官方話未來新模型會放進同一儲存庫,但「未來」幾時,冇講。開源係開源,完整開源係另一件事。

模姐|深度調教