個模型做數學題寫咗 3 萬多個 Token（Token 係語言模型處理文字嘅最小單位），反覆重複相似推理，最後都交唔到答案。照例嘅做法係調整訓練數據、優化推理策略或者重新微調。但 MIT CSAIL（麻省理工電腦科學與人工智能實驗室）最近試咗另一條路：直接俾 GPT-6 Astra 檢查 Qwen3.5-0.8B 嘅內部權重，揾出問題位置再改參數。
研究者稱為 Weight-Space Programming（權重空間編程）：當網絡參數能還原成具體計算過程，LLM 就有機會像修改程式碼一樣，直接改寫模型內部功能。
點樣識得個網絡學咗乜
研究者先訓練咗 4 個架構完全相同、各 17253 個參數嘅網絡，分別學 Breakout、Pong、Pac-Man 同 Freeway。訓練完只把權重交俾 Astra，唔告之遊戲名稱、亦唔准運行網絡，Astra 卻認出全部 4 款遊戲——靠嘅係訓練留喺參數入面嘅痕跡，例如 Breakout 球拍沿屏幕底部移動，輸入層讀取玩家位置嘅權重就會集中喺網格下沿。
再訓練咗 3 個約 720 萬參數嘅字符級 Transformer 分學 Python、羅馬字日語同英語，移除輸入 Embedding（詞元轉向量嘅層）同輸出層後，Astra 靠分析內部 Induction Head（幫助模型複製歷史文本嘅 Attention Head）判斷訓練語言。
直接寫權重
研究者再俾 Astra 一套全零權重，令佢按規則直接生成策略，全過程無訓練數據、Loss、Gradient。生成嘅 Breakout 網絡平均得分 517.4，比 PPO 訓練 1 億同 5 億步嘅 15.8 同 25.3 高得多。9×9 圍棋（約 148 萬參數）嘅網絡靠 336 行 Python 寫成，50 次前向測試後超過訓練 2000 萬局嘅同規模 PPO。
Qwen 嘅手術
Astra 檢查 Qwen3.5-0.8B 輸出，發現 96 條練習回答入面 85 條耗盡 32768 Token 預算。研究者判斷模型或有能力解決部分題目，卻因反覆推理而無法完成。改動約 0.016% 權重後，MATH-500 成績由 7.9% 升至 48.1%。
模姐驗嚇貨
呢個實驗有意思，但「0.016% 換 6 倍成績」呢個數字要睇測試條件：呢個改動係研究員設計、喺受控環境做嘅，唔代表任何公開模型已經有自動診斷與修補能力。同類實驗亦有邊界——Gemma 實驗中，Astra 單靠權重無法判斷邊套模型更易迎合錯誤答案，要加 Attention 激活先成功。
「AI 改 AI」聽落似新通道，實際上呢度講嘅都係實驗室範疇嘅權重層級干預，同大規模部署嘅模型維護兩回事。值得問嘅係：呢種直接改權重嘅方法，日後有冇機會取代現行嘅微調流程，定係始終只留喺研究台上？
