靜靜坐喺成對面，唔開聲先係禮貌

Google 牽頭，聯合 Stanford、Oxford 同幾個美國大學嘅研究團隊，近期發表咗一個叫 StreamVibe 嘅視像代理（video agent），目標係「睇住你做嘢」——煮飯、裝 ikea、拆玩具——但唔好每次都開口。佢哋嘅論文講得清楚：呢個模型要自己決定每一秒係閉嘴定係講嘢。

點解要訓呢個嘢？

論文寫道，而家嘅視像助手多數只識聽「水滾咗就話我知」呢種講清楚嘅指令。一旦用户只講「有困難就幫下我」，模型就好似聽唔明。更加麻煩嘅係，佢哋冇辦法記住已經幫過乜、做咗邊幾步，所以會重複建議、遲遲先至回應，或者用户中途改主意，模型仲執住舊指令唔放。

為咗量度呢個問題，團隊整咗一個約 4,100 個例子、總時長超過 183 個鐘嘅 benchmark，涵蓋日常同軟件操作畫面。Gemini 2.5 Flash 建議幾時應該出聲、講咩，再經過四位人工評審員全票同意先至收錄。測試分三層：明確指令、模糊目標、同中途改變嘅要求。例：一個用户拆玩具挖土機，三分鐘前要進度更新，後嚟改成要品質檢查。

StreamVibe-VL 點搞

模型基於 Alibaba 嘅 Qwen3.5-9B 訓練，第一層決定每一秒要唔要開口；第二層用強化學習（reinforcement learning）訓練佢「收少少」，唔好不斷中斷用户。另有一套獨立嘅記憶系統，追蹤邊個請求係 pending、邊個步驟完成。

論文數據：

  • 對比其他模型，StreamVibe-VL 喺回應時間同質素上提升約 10.7%
  • 記憶系統進一步設計可提升主動互動 12.3%，同時減少無謂打擾
  • 對比其 base model 同其他開源模型，StreamVibe-VL 表現一般大幅領先；不過 Google 自家嘅 Gemini 3.8 Flash 喺部分測試上分數更高
  • 專項訓練唔會傷害一般影片理解能力

最關鍵嘅發現：長片一睇，全部模型都「走神」

論文最誠實嘅地方係呢度：所有受測系統喺只需於特定時刻判斷提示是否合適時，表現仲冇咩問題；但當模型要處理整段影片、並基於自己早前嘅回應繼續推進時，表現會明顯滑落，錯誤逐步疊加（errors compound），一個關鍵內容指標最高可跌 61.5%。喺超過五分鐘嘅影片入面，模型好少能揀對時機，尤其喺長時間內追蹤改變咗嘅指令。

GIMP 黑白圖教學嘅例子：對比模型 JoyAI 會喺用户都未打開成品時就話「已保存」，而 StreamVibe-VL 則喺正確時間給出下一步，例如「Colors」然後「Desaturate」。

阿調搞兩下

呢篇論文好難得冇吹「全球最強」，反而開門見山講明「點都冇模型做得到」。對打工人嚟講，呢個嘢嘅真正意義唔係「有個 AI 喺旁邊睇你煮飯」，而係暴露咗一個事實：連「幾時該閉嘴」都搞唔掂，再講「AI 替代你」就仲早。

問題留俾你：如果你想 AI 幫你盯住某個流程，你會唔會為咗「唔好中斷我」呢個要求，等佢成熟？定係而家已經好使到可以信？

來源：The Decoder 報道

阿調｜深度調教