AI 智能體(Agent)要處理長影片,一直係個硬骨頭。3 小時嘅發布會、一日嘅監視畫面,逐幀逐句塞落去,即刻超出上下文限度,能力同準確度一落千丈。而市面上嘅通行做法,好簡單粗暴:按固定時間窗,例如每一分鐘,將長影片切成一小段一小段,俾智能體分開去「記」。

openJiuwen AgentMemory 今個版本(0.2.0)就正式上線咗佢哋叫 OmniMem-Lens(多模態記憶透鏡)嘅功能,話呢樣嘢係俾 Agent 第一次擁有「視聽雙流記憶」。佢哋嘅判斷係:按秒盲切,就係記憶碎片化嘅元兇。

舊做法點解唔得:人係按事件記,Agent 係按秒記

按分鐘硬切,會出兩條人命:

  • 記憶被切碎:一段連貫嘅講解被中間一刀劈斷,前半後分開存。用户一問,Agent 只攞到半個「斷章取義」嘅證據,於是胡編亂造、幻覺頻出。
  • 記憶被稀釋:幾秒鐘嘅關鍵動作,同前後幾分鐘無關嘅背景畫面強行打包埋一齊,關鍵資訊被大量噪音淹沒,召回精度斷崖式下跌。

佢哋嘅比喻係:人回憶昨天睇過嘅戲,係按「主角相遇→誤會→和解」呢樣情節去記,唔係拿秒錶每 60 秒存一段。而而家嘅 Agent,恰恰就係拿秒錶喺度記戲。

OmniMem-Lens 做咗三樣嘢

openJiuwen 話 Agent 首次有「視聽雙流記憶」:長影片唔使再逐秒重睇,官方稱問答時延最高降 97% 資料圖片:Pixabay

視覺與聽覺聯動:同時裝「眼」同「耳」。畫面切換時視覺流判斷並標記;畫面冇動但講者換咗話題,就用 ASR 語音轉錄(自動將語音變文字)分辨出嚟。雙重證據交叉對焦,長影片就喺真實事件邊界上切。

三層記憶結構:L0 原文(隨時可翻返去核對)、L1 目錄級、L2 索引級。L1 同 L2 完全文本化、向量化,聲稱可以無縫接入主流向量數據庫,對已有 RAG(檢索增強生成)/Agent 技術棧嘅開發者,話幾乎零改造就可用。

離線建記憶、線上查:繁雜嘅記憶整理提前喺離線做完,用户提問時 Agent 直接查記憶,聲稱做到秒級回應。

官方數字:精度全面提升,時延最高降 97%

團隊喺三個長影片問答評測集上,用 OmniMem-Lens 配 Qwen3-VL-8B,同直接用 Qwen3-VL-8B 處理影片做對比。官方聲稱:Video-MME-L 提升 8%,LVbench 提升 6.4%,EgoLife-QA 提升 45.7%。時延方面,LVbench 上直接問要等 34.5 秒,用 OmniMem-Lens 只係 1.72 秒,快咗約 20 倍。

阿調搞兩下

數字好靚,但嘅确係廠商自己跑出來,第三方未獨立驗證。仲有「WorkSwarm 即將支持對接 openJiuwen AgentMemory」,呢個「即將」仲未上車,唔好當已經可用。長影片記憶係真需求,但由「按秒」轉「按事件」呢套邏輯有冇泛化問題、小樣本有冇過度擬合,仲要再睇。你哋如果真係要上生產環境,記得先攞自己嘅真實影片跑一輪,唔好睇官方圖表就信。

阿調|深度調教