AI2（Allen Institute for Artificial Intelligence）發布咗叫 StateBench 嘅新基準測試，目的係量度語言模型喺長文件中跟得上「狀態變化」嘅能力，即一個實體嘅屬性喺文檔入面逐段變遷，模型有冇跟得上。呢份技術報告同數據、代碼一齊放喺 Hugging Face blog 公開。
State tracking 唔係新嘢，而係好基本功。寫 code 時個變數被 assign 再 assign，讀推理小説時 John 俾刀畀 Mary，嗰刻事件發生，模型要知而家個刀喺邊個手入面。研究指呢類問題有難易之分：簡單嘅淨係要找最新一次更新；難嘅要跟住一連串變化逐個 carry forward，漏一步最後答案就全錯。研究者舉例話，若 John 俾咗個嘢喺背囊入面畀 Mary，而讀者早啲已知 Edward 擺咗把刀喺 John 背囊入面，呢種「引用式」更新就係最難嘅等級。
StateBench 分四級，由易到難對應不同變數 assign 操作：R-trivial（immutable assignment，變數一設定就唔變，好比出生日期）；Aperiodic（重新 assign by value，只係揾最新值，好比恆温器）；Soluble（self-referential update，每次更新基於目前值遞推，好比計分）；General finite（assignment by reference，一個變數可以取另一個變數嘅現值，形成跨更新嘅依賴鏈，好似魔術師將球喺五個杯底入面搬來搬去，最後球喺邊要逐次 swap 跟住）。
論文背景指出 Transformer 架構喺處理長 dependency chain 嘅 hard 版本狀態追蹤上有理論限制，呢個發現推動了循環架構（recurrent）同混合格式（hybrid）嘅發展，例如 Gated DeltaNet，佢哋帶住一個 running memory forward 逐 token 處理。過去嘅 state-tracking 測試傾向聚焦最難案例，但研究者話，隨住呢類新格式普及，需要了解各種架構喺簡單至困難嘅不同程度各有所長。
研究團隊用 StateBench 直接喺呢類任務上訓練不同架構嘅模型，發現循環同混合格式嘅模型喺泛化上比 Transformer 走得更遠；同時指出包括 Gemini 3.8 Flash、Claude Opus 5.5 同 GPT-6 Sol 同 Luna 在內嘅前線模型，喺 harder 類型嘅狀態追蹤任務上，隨輸入長度增長依然會「失手」。
呢項測試對讀者嘅實際意義：如果你用 LLM 處理長 code review、長合約審閲或者長推理小説摘要，邊個模型喺「狀態跟進」上更穩，係一個實際嘅能力分水嶺。呢個結果亦再次驗證，「長上下文窗口」唔自動等於「長上下文可靠」，窗口大唔代表跟得住。
模姐驗嚇貨：呢份測試設計得好有層次，用程式變數 assign 嘅語法類比分級直觀而嚴謹，呢點值得讚。期待後日有獨立重現，唔單止呢間 lab 自己跑。
模姐｜深度調教
