10 月 29 日,Baseten 推出 joey-1,一個 2B 參數嘅開放權重(open-weight)決策模型。呢個模型同一般大語言模型嘅分別,在於佢嘅輸出唔係自然語言文字,而係「校準嘅概率分佈」(calibrated probabilities),直接為特定決策輸出概率值。

規格方面,joey-1 嘅 P50 延遲(中位延遲,即一半請求所需時間)為 20 毫秒,API 定價為每百萬輸入 token 1 美分($0.01 / 1M input tokens)。呢個係廠商公佈嘅數據,本站未有獨立測試。

模姐驗嚇貨:用概率代替文字做決策,呢個設計思路比較特別,但 20 毫秒延遲同每百萬 token 一美分嘅數字目前都係廠商自稱,獨立測試數據仲未見到,要留意測試條件。

模姐|深度調教