今個星期,OpenAI 將自家嘅 Decisions API 向所有客户全面開放,正式入局快、平、低延遲嘅「決斷模型」(decision model)市場。呢個類別其實係 TypeSafe 嘅 Jev 模型開創嘅:Jev 將一類深度學習模型包裝成「超分類器」(super classifier)——俾佢一組選項,佢幾百毫秒內就做選擇並俾信心評分,速度同成本遠遠勝過 LLM。呢個賽道係咁吸金,TypeSafe 已經係一家市值 76 億美元嘅公司。
唔造新模型,直接改舊模型
OpenAI API 產品負責人 Nikunj Handa 話,團隊見到 Jev 後,反應係「我哋有大概一個 million 個使用案例」。但佢哋嘅做法唔係訓練一個專門嘅決斷模型,而係將 ChatGPT Luna 重新配置,加快推理、壓低成本。
Handa:「Decisions API 最大嘅突破係速度,將 1 至 3 秒嘅處理時間縮短到 100、120、180 毫秒。將來我哋或會有專門訓練令模型喺呢啲方面更好,但而家就係原原本本嘅 Luna 做嘢。」
試點數據:Speak 由 1.4 秒縮到 0.13 秒
Decisions API 喺 9 月 29 日嘅開發者日先預告,本星期正式向所有客户開放,新增語音同視覺模態,並透過地理分流降低各地延遲。早期試點客户包括 Box、Datadog、Ramp 同 Speak。Speak CTO Andrew Hsu 話,用呢個 API 將系統動作之間嘅等待時間由 1.4 秒壓到 0.13 秒。OpenAI 亦用同一產品改善自家語音助手 Dots 嘅反應速度。
第三方指數:傾向支持 D1 Ultra 同 Elephant-1
但第三方評測未必咁講。AIM System One Index 同 Artificial Analysis Decision Index 傾向支持 Liquid 上週推出嘅 D1 Ultra 同 Base Lab 嘅 Elephant-1。最新 Jev 喺兩個指數分別排第七、第三,仍具競爭力;OpenAI 嘅 Decision Model 則排第八、第十四。TypeSafe 嘅產品而家係 OpenRouter 上查詢量最高嘅系列。TypeSafe CEO Diogo Almeida 話佢唔信 benchmark,叫大家自己喺自己嘅工作流測試模型。
最「好玩」嘅 benchmark 係 JevMan——令決斷模型打吃豆人(Pac-Man)。最新 Jev 係呢個榜單第一名。Opper AI 增長負責人 Felix Wunderlich 解釋:「吃豆人係唔斷嘅、高壓快速決策,每個路口模型都必須喺幾百毫秒內決定行邊條。」
模姐驗嚇貨
呢單嘢有意思嘅地方,唔係模型多強,而係 OpenAI 點樣應對一個已經形成嘅新類別。佢哋冇造新嘢,直接拿現有產品改設定——呢個策略本身已經係一種訊號:OpenAI 覺得「決斷」唔需要新架構,只需要更快。但第三方指數話唔係咁簡單:排名靠後唔代表贏。真正嘅問題係:邊個負載、邊種使用案例、邊個模型最啱?而家嘅答案係「試嚇先」。
模姐|深度調教



