MIT 發表「權重空間編程」：大模型直接改小模型權重
MIT 團隊做咗一個實驗：俾 GPT-6 Astra（以下簡稱 Astra）一個 Python 環境，入面放住 Qwen3.5-0.8B 嘅全部權重，要求淨係一句——「盡可能提高模型數學能力」。冇訓練、冇梯度下降（gradient descent）、冇損失函數，改什麼、點改，全部由 Astra 自己分析決定。
結果喺同樣嘅採樣設定下，MATH-500 得分由 7.9% 飆到 48.1%，約 6 倍提升，而且全過程淨係改咗其中 0.016% 嘅權重。
佢點樣揾到問題？
團隊指小模型數學表現差，一大截係被「推理循環」拖累：一道題擺落面前，模型反覆生成相似文字，遲遲交唔到答案。最初 96 條練習回答入面，85 條一直跑晒 32,768 個 token（語言模型每次生成嘅基本單位）嘅長度上限。
Astra 沿住失敗表現一路查，將循環追到前饋網絡（feed-forward network，Transformer 架構中負責逐層轉換表示嘅部件），喺第 15 層同第 19 層各 64 個輸出欄入面修改權重。修改後，MATH-500 回答觸及長度上限嘅比例由 93.0% 降至 33.1%。
團隊又分級測試咗 10、25、50 次前向調用（forward call）嘅預算，修改後 MATH-500 得分依次為 12.3%、14.1% 同 48.1%。原聞冇要求優化嘅指令執行能力，亦同步提升約 3 倍。
權重空間編程：一套新方法
團隊將呢套做法命名為 Weight-Space Programming（權重空間編程）：令一個現成嘅通用前沿大模型，圍繞自然語言目標，自己分析、診斷同改寫另一個模型嘅神經網絡權重（neural network weights），甚至由零寫出一個可運作嘅網絡。
同一批研究仲包括：
- 讀權重識別模型用途：Astra 喺四個架構完全相同嘅小型遊戲網絡權重中，正確認出打磚塊、乒乓、吃豆人、高速公路四個遊戲；喺一個擴散模型（diffusion model，由噪聲逐步生成圖像的模型）中認出圓形、方形、三角形，但將實心形狀誤讀為輪廓。
- 盲改隱藏層：三個 720 萬參數嘅小型語言模型，分別以 Python 代碼、日語羅馬字、英語訓練，移除輸入輸出層後只留四個 Transformer 中層。Astra 喺唔能輸入數據、觀察運行的前提下，用 Python 分析權重，兩輪嘗試內認出三種語言並找出全部歸納頭（induction head）。
- 小車爬坡補丁：喺一個 PPO（Proximal Policy Optimization，一種常用於強化學習的算法）訓練嘅網絡中，Astra 一次回覆寫出補丁，只改 3.5% 權重，令小車喺 1,024 次測試中全部成功。
- 由零寫網絡：喺 MinAtar 小型遊戲實驗中，Astra 拿到遊戲規則、源代碼及指定網絡結構，冇訓練數據、冇梯度、冇工具，亦唔可以先把網絡放入環境試跑。最終 Astra 生成網絡平均得分 517.4，而 PPO 訓練 1 億步得 15.8、訓練 5 億步得 25.3，約超 20 倍。
模姐驗嚇貨
呢個研究最勁嘅位，唔係「大模型改小模型」呢個標題本身，而係團隊清楚交代咗測試條件：多少前向調用、改咗幾多權重、邊幾個層、邊幾個欄。呢啲細節通常被廠商跑分公關稿省略，但呢度有。
但模姐有幾個保留：
第一，呢份材料來自單一來源，未見同行評審論文，所有數字——包括 MATH-500 48.1% 同 MinAtar 517.4——皆為研究者自報，非獨立第三方可重現結果。
第二，權重空間編程嘅適用範圍、可否延伸至更大規模模型、以及安全邊界（例如被用來改寫安全對齊層），目前仍未見交代。呢啲係值得追問嘅核心問題。
GPU 暫時唔使準備退休，但「直接改權重就係」呢句，可能真係要喺下次開發者會議上講一講。
模姐｜深度調教
