事件
2026 年 10 月 27 日，Google Research 發布文章，由 Staff Research Scientist Ali Behrouz 同 VP and Google Fellow Vahab Mirrokni 聯合提出一個「睡眠框架」（sleep framework），將睡眠機制引入大語言模型（LLM）嘅持續學習（continual learning）過程，令模型可以持續整合新事實、強化推理能力，同時減少災難性遺忘（catastrophic forgetting）同固定知識截止日（static knowledge cutoff）嘅限制。
點樣運作
現代 LLM 嘅問題喺度：預訓練（pre-training）完成後就基本靜止，知識 cutoff 固定，無法主動吸收長期新資訊。直接更新參數會引發災難性遺忘——學新嘢時舊嘢表現急跌；而純靠 in-context learning（ICL，即上下文學習）的話，知識只保留喺當前對話窗口，session 一結束就冇咗。
呢個框架嘅靈感來自人腦喺休息時處理同穩固化記憶嘅過程。模型運作喺兩個主要狀態之間：
記憶鞏固（memory consolidation）：對應人腦嘅 NREM 慢波睡眠（non-rapid eye movement slow-wave sleep），將脆弱嘅短期記憶通過抽象同蒸餾轉化為長期結構。技術上，模型喺離線睡眠階段會解鎖預先分配嘅 Mixture-of-Experts（MoE，專家混合架構）記憶區塊，利用自行生成嘅練習樣本更新數值權重。整個後訓練循環係自動化嘅，核心程式碼同架構保持不變。
資料圖片：Pixabay
夢遊階段（dreaming stage）：對應人腦嘅 REM（rapid eye movement，快速眼動）睡眠，人腦喺呢段時會主動模擬情境、鞏固情感語義連線、探索新神經路徑。框架喺「夢遊」階段實現一個自主自我改進循環。
研究結論
根據文章，呢個框架可以令 LLM：
- 持續獲取新事實
- 保留長上下文知識最多達 1000 萬 tokens
- 改善複雜推理能力
理論層面，研究指出記憶鞏固可以理解為結構化嘅低秩壓縮（low-rank compression）問題，模型唔需要逐字複製短期資訊。
邊個揸住個掣？
呢個框架喺固定模型架構同人類定義嘅訓練規則內運作，模型核心代碼同設計唔變。但值得留意：「自我改進循環」具體範圍、MoE 記憶區塊嘅容量上限、以及呢個機制會唔會被應用喺特定封閉產品，文章均未説明。
模姐驗嚇貨：10M tokens 長上下文保留嘅實際測試條件（測試集、提示方式、樣本量）文章入面並冇列出，呢個數字目前只係廠商自述，未見獨立第三方可復現。框架本身係研究方法論層面嘅新提案，唔代表任何已部署產品。
模姐｜深度調教
