韓國 Kakao 喺 10 月 22 日話,佢自家研發嘅兩款影像辨識模型 Kanana-2-vision-encoder 已經開源,同埋放到全球 AI 開發平台 Hugging Face 上面。呢個係視覺編碼器(Vision Encoder),作用就係做多模態 AI 嘅「雙眼」,負責從圖片入面抽出物件、文字、位置同形狀嗰啲資料,再交畀語言模型去理解同回應。Kakao 話呢類技術可以用喺菜單同文件辨識、圖片內容理解,以及視覺問答(Visual QA)嗰啲場景。

今次開源嘅版本有兩個:一個係 4.26 億參數嘅 medium,一個係 9,800 萬參數嘅 tiny。兩款都用「Kanana Open License」授權,可以供研究同商業用途。tiny 版本用唔到 1 億參數嘅輕量設計,係專為裝置端(On-device)應用而設。

效能方面,Kakao 講依住自家嘅內部評測,兩款模型喺涵蓋一般視覺問答、英文同韓文 OCR、文件理解、影像定位同細粒度辨識等多項基準測試入面,整體表現好過多款國際主流視覺編碼器。要講清楚:呢啲數字全部係廠商自評,唔算獨立驗證。

另外 Kakao 話,呢兩款係用自家語言模型 Kanana-2 訓練嘅,所以訓練效率較之前提升約 4 倍;同時因為針對高解像度影像設計咗架構,處理延遲較主要國際比較模型降低咗超過 60%。

呢個開源計畫其實 Kakao 早喺 10 月 13 日嘅 if(kakao)26 開發者大會已經預告過。公司表示開放呢啲核心技術,係想幫國內外嘅研究者同企業降低引入多模態 AI 嘅門檻,同埋推動相關研究同服務開發。

模姐驗嚇貨:呢單嘢嘅賣點好清楚——小參數、授權清楚、可以商業用、同埋有針對裝置端嘅輕量版。視覺編碼器呢個位係好多多模態模型嘅基礎,開源之後方便研究同二開。但要留意兩樣:第一,所有「勝過國際主流」嘅話係廠商自評,冇獨立第三方測試;第二,9,800 萬參數嘅 tiny 唔代表就自動好用,裝置端同雲端嘅實際表現差幾多,要等用户自己去測先至知道。開放權重同「完整開源」都係兩回事,授權範圍有冇隱藏限制,用家下載權重要自己睇清楚。