Google 10月7號公佈新一代多模態嵌入模型 EmbeddingGemma 2,完整版本7.4億(740M)參數,可以處理文字、程式碼、圖片、影片同音訊,而且直接喺手機、筆電這些裝置本地運行,資料唔使上傳雲端。模型基於 Gemma 4 架構,採用 Apache 2.0 授權,目前已經可以喺 Hugging Face 同 Kaggle 取得。

乜係嵌入模型,點做語意搜尋

嵌入(Embedding)模型嘅作用,係將文字、圖片或聲音轉換成一組可比較的數值;內容意思越接近,轉換後數值越相似,因此可以用嚟做語意搜尋。例如輸入「狗在草地追球」,就算影片冇包含相同文字,系統都可以憑內容找出接近嘅畫面。

第一代 EmbeddingGemma 主要處理文字,新一代納入圖片、影片同音訊。模型採用分開載入設計:只處理文字同程式碼時,可以只用270M參數嘅文字模型,唔使同時載入圖片同音訊功能。Google 喺 Pixel 11 Pro 測試量化版本時,只載入文字模型約佔191MB活動記憶體,完整多模態版本約567MB。

能力同限制

單次可處理內容由第一代2K提升至8K詞元(token,語言模型處理文字嘅基本單位)。只處理單一類型時,上限大約為5.5分鐘音訊、29張圖片或58個影片畫面;混合輸入則共同使用同一個8K額度。輸出嵌入向量預設768維,可縮短至512、256或128維以減少本機資料庫儲存空間。Google 表示縮至256維大致可保留搜尋品質,128維較適合純文字索引。

程式碼搜尋能力提升,Google 測試顯示 MTEB Code 程式碼嵌入測試成績由第一代68.76分升至78.68分。多語文字能力大致維持第一代水準。需注意,以上跑分均為 Google 自報,非獨立第三方測試。

部署方面,Google 提供 MediaPipe 同 LiteRT 等工具供開發者部署到行動裝置,並支援喺瀏覽器同個人電腦執行。

模姐驗嚇貨

小參數模型做到真正本地化多模態語意搜尋,係呢單重點。740M 參數、手機上567MB記憶體,呢個係實實在在嘅裝置端部署,唔使上雲、唔使等API。但「大係大喇,邊度勁?」呢個問題,我哋仍未做獨立測試,MTEB Code 跑分亦係廠商自報。開放權重、Apache 2.0、可商用,呢啲係硬條件;剩低嘅就係你嘅裝置撐唔撐得住、你嘞實際需求係咪需要呢種本地搜尋。

模型版本、可用地區、授權同部署狀態以 Google 官方公告為準,使用前請核對最新版本。