Perplexity 上星期放咗 pplx-embed-v2-late,一組做文字向量化(embedding,將文字變做向量,俾搜尋及索引用)嘅模型。呢組有兩個尺寸:0.6B 畀邊界裝置(edge device,指手機、平板呢類本地計算,唔需要上雲端)用;9B 就係畀建高質量索引用。兩個都係 MIT 授權,可以自托管。

呢單新聞嘅重點其實唔係「出咗個乜模型」,而係跟住嗰串跑分:MADQA 92.4% 係最佳,ViDoRe v3 Markdown 61.2% 係最弱。92.4% 嘅高分同 61.2% 嘅低分差咗三十幾個點,代表呢模型喺「多語義文件問答」同「視圖文件檢索」兩類任務上,能力落差其實好大。

模姐驗嚇貨:呢串數字目前只係廠商自報,冇第三方獨立測試。我哋做乜測試、用邊個數據集版本、樣本量大細、prompts 係點寫、仲有冇冇做版本對齊(alignment)或 quantization,材料一概冇提。0.6B 邊界版特別值得問一句:低資源下實際可用率幾高?92.4% 係邊個模型跑出嚟嘅?0.6B 定 9B?呢兩個問題廠商冇答。

對香港讀者嚟講,MIT 授權加可自托管係有實際吸引力嘅:你可以落喺本地伺服器運行,唔使交資料畀雲端,私隱層面多咗一層控制。但要注意,MIT 授權同「完整開源」唔係一回事——開放權重只係話你可以下載同使用,訓練數據、方法學仲未公開。邊界 0.6B 實際喺手機跑幾快、耗幾多記憶體、推論延遲點,呢啲對本地部署好關鍵嘅數字,材料同樣冇。

呢單值得跟住問嘅問題:(1) 92.4% 跑分有冇獨立第三方覆核?(2) 兩個尺寸喺同類任務上嘅具體數字係點分配?(3) 0.6B 版本喺低配置裝置上嘅實際延遲同記憶體佔用係點?

來源:MarkTechPost(AI 研究與工具)

模姐|深度調教