一篇論文，令一個從未露面嘅模型曝光
清華大學同智譜 AI 聯合完成嘅研究，通訊作者為唐杰，喺 arXiv 上首次公開咗智譜內部模型 GLM-Omni。佢由 GLM-4.1V-Thinking 嘅預訓練模型出發，接入基於 X-Omni 嘅離散圖像 Tokenizer（將圖像編碼為離散符號嘅模塊）。
球衣號碼：畫得出，講唔出
論文嘅實驗設計相當有針對性。為咗排除模型已從文字資料中讀到嘅知識，研究團隊搭了一個叫 MagicWorld 嘅虛構世界，給從未存在嘅實體安排顏色、號碼、空間關係等 7 類屬性，共 350 條知識，再為每個實體生成不同背景同視角嘅圖像，最後留下 8552 組訓練樣本。
最觸目嘅一組數字：訓練後，GLM-Omni 把指定號碼正確畫喺球衣上嘅比例達 72%，但研究者拿走圖片、改用文字詢問球衣號碼，正確率只有 2%。模型已經喺畫面入面能重現嘅知識，換成一句問話，竟然幾乎答唔到。
呢個正正戳中統一多模態模型嘅一個技術瓶頸：過去圖像理解負責「睇」，圖像生成負責「畫」，兩者入同一套架構後，模型喺學習生成時會接觸大量未被語言描述嘅視覺資訊，但呢啲學到嘅嘢，究竟有幾多能被語言推理調用？
參與實驗嘅三個模型架構各異：BAGEL 將理解與生成放喺獨立嘅專家分支；SenseNova-U1 直接建模圖像像素；GLM-Omni 則用前述底座。直接測試嘅平均文字正確率分別為：BAGEL 8.86%、GLM-Omni 14.57%、SenseNova-U1 20.00%。
圖片：HoweyYuan／CC BY-SA 4.0／Wikimedia Commons
幾輪實驗，試圖打通「畫」同「講」
團隊第一輪用 Textual Alignment（文字對齊），給部分實體補充文字問答。結果分化明顯：BAGEL 由 8.86% 升至 15.43%，SenseNova-U1 由 20.00% 升至 28.00%，GLM-Omni 反而由 14.57% 跌至 12.57%。三種模型喺數字同書名任務上，正確率依然為 0%。
第二輪改用 Interleaved Image–Text Alignment（圖文交錯對齊），將圖像生成同文字回答放喺同一訓練序列：遇到球衣號碼問題，模型先生成球衣，再根據畫面組織文字答案。GLM-Omni 嘅平均文字正確率隨之由 12.57% 升至 26.86%。團隊亦做咗消融實驗：屏蔽交錯樣本中嘅圖像損失後，正確率即跌至 13.71%，證明提升來自圖像重建嘅訓練信號，唔單止係多讀了一段文字。
最後一輪引入 Visual CoT（視覺思維鏈），允許模型喺推理時先生成目標圖像，再從圖中識別屬性，最後組織語言答案。GLM-Omni 嘅平均正確率升至 41.14%，數字任務由 0% 升至 4%。
模姐驗嚇貨
呢篇論文最值錢嘅，唔係 GLM-Omni 本身，而係佢把一個長期被「生成效果」掩蓋嘅問題擺上桌：畫得似，唔代表講得出。41% 嘅數字固然比 2% 好，但對一個號稱統一架構嘅模型嚟講，仍然低。而且呢啲數據來自一個受控嘅虛構世界——真實、動態場景中嘅效果，論文自己都話有待進一步驗證。
模姐｜深度調教
