當大家都在比誰的提示詞寫得更精巧、誰的微調資料準備得更齊全時，有一條研究路線選擇直接動手改模型本身的權重。MIT CSAIL 的四位研究者 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 Omar Khattab 在 2026 年 11 月 2 日發表部落格文章 Sparks of Weight-Space Programming，示範讓 OpenAI 的 GPT-6 Astra 直接讀取並改寫其他神經網路的權重。其中最受矚目的實驗，是 Astra 在不做任何訓練、不使用梯度的前提下，只改動 Qwen3.5-0.8B 約 0.016% 的權重，就把這個小模型的 MATH-500 成績從 7.9% 拉到 48.1%。文章發表後迅速並引發大量討論。
什麼是權重空間程式設計
傳統上要讓一個開源模型表現更好，常見做法不外乎調整提示詞、準備微調資料集，或是透過 LoRA 等低秩適配方法附加額外參數。這些方法有一個共通點，權重的實際數值仍由 Adam、Muon 這類最佳化演算法透過梯度更新，人類與語言模型都只是在外圍給資料、給目標。
研究團隊提出的「權重空間程式設計」（Weight-Space Programming）則讓通用語言模型直接閱讀與改寫網路的權重，過程中不經過最佳化器，也不使用梯度下降，只憑自然語言的任務描述進行推理。過去模型只能從輸入與輸出觀察行為，現在權重本身被當成可檢視、可改寫的結構，像程式碼一樣被閱讀、被修補。
Qwen 實驗怎麼做，改了什麼
研究者給 Astra 一個載入 Qwen3.5-0.8B 權重的 Python kernel（無 GPU），並提供 GSM8K 與 MATH 訓練集的練習題，允許它執行 10、25 或 50 次 forward pass 觀察模型反應。評測用的 MATH-500、GSM8K、IFEval 等測試集 Astra 從頭到尾看不到。
Astra 觀察後發現這個小型推理模型的常見毛病，就是陷入「思考迴圈」，不斷重複同一段文字而無法得出答案。前 96 題練習題中有 85 題撞到 32,768 token 的輸出上限。Qwen 官方的 model card 本身也提醒過這個模型容易出現思考迴圈。Astra 追查後認為問題出在第 15 層與第 19 層 MLP 寫入的某一個方向，於是從這兩層各 64 個輸出欄位中減去該方向，總共改動 131,072 個權重，佔 0.8B 參數的 0.016%。
在 50 次 forward pass 的預算下，各項成績變化如下。
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | 撞到 token 上限比例 |
|---|---|---|---|---|
| 原始模型 | 7.9% | 13.8% | 21.0% | 93.0% |
| 修改後（10 次 forward pass） | 12.3% | 25.7% | 49.0% | 87.2% |
| 修改後（25 次 forward pass） | 14.1% | 25.1% | 39.9% | 86.4% |
| 修改後（50 次 forward pass） | 48.1% | 67.1% | 62.3% | 33.1% |
值得注意的是，這項修改針對的是數學題，但效果擴散到了其他能力。IFEval 衡量的是指令遵循，與數學無關，卻同樣提升近三倍。原因在於思考迴圈本來就不是數學專屬的問題，修掉之後模型在各種任務上都更容易把話說完。
原文自己承認的限制
這項結果看起來驚人，但研究者在同一篇文章中就做了反向驗證。他們拿不會陷入迴圈的 Gemma 3 270M 做同樣實驗，這個模型只有 8.5% 的答案撞到 token 上限。結果 Astra 完全改不動它，MATH-500 在 6.8% 到 7.7% 之間浮動，沒有任何一次修改帶來超過一分的進步。Astra 自己回報的分析是，Gemma 的錯誤是算錯數字、代數步驟無效這類一般性的推理失誤，找不到單一元件可以關掉。
作者因此下了一個清楚的結論，改權重可以移除擋住既有能力的障礙，但無法替模型新增它原本沒有的能力。Qwen 的大幅進步，本質上是讓它把本來就會算的題目算完，而不是教會它新東西。
另一項限制出現在辨識諂媚模型的實驗。研究者把兩個 Gemma 3 270M 用同樣方式微調，一個回答正確答案，另一個永遠順著使用者的猜測回答。光靠權重，Astra 四次嘗試都無法分辨哪一個是諂媚模型。要到研究者放寬條件，允許它查看模型處理文字時的注意力分布，才在三組配對中全部判斷正確。
Qwen 只是八個實驗之一
這篇文章總共做了八組實驗，Qwen 是規模最大、最接近實際應用的一組。其他實驗包括，把四個架構完全相同、只是訓練在不同遊戲上的小型網路權重餵給 Astra，它在沒有任何選項提示下正確說出 Breakout、Pong、Pac-Man、Freeway 四款遊戲。給它擴散模型的權重，它能說出模型會畫圓形、三角形還是方形。只給它小型語言模型的中間層，它能判斷訓練語料是 Python、羅馬拼音日文還是英文，並正確找出所有負責複製的注意力頭。
在寫入方面，Astra 從零寫出 MinAtar 三款遊戲的網路權重，不經任何訓練就打贏用 PPO 訓練一億步的網路。在 9×9 圍棋上，它用 Python 逐層寫出一個 148 萬參數的網路，在 50 次 forward pass 的預算下擊敗以兩千萬局訓練出來的同尺寸 PPO 網路。
開源權重的雙面性
這類技術目前與開源生態高度綁定。權重公開且可下載，Astra 才有辦法在 Python 環境中讀取並改寫。閉源模型即便能力再強，外部開發者碰不到權重，就無法套用同樣手法。
研究者在文末列出的未來應用，不少與資安直接相關。他們認為若語言模型能準確解讀權重空間，未來可以在不跑推論、不準備測試集的情況下，直接從權重找出後門或隱藏能力。另一個方向是不需資料就移除某項能力，因為修改只碰極少數權重，可以避免微調常見的災難性遺忘。
反過來看，同一套手法也能用來精準拆掉開源模型的安全護欄。已有評論指出，開源模型的安全對齊本來就是權重中可被移除的部分，權重空間程式設計讓這種移除變得更有針對性，而且可以由語言模型自動執行。對於正在評估導入開源模型的組織而言，這意味著模型權重一旦流出或被取得，被修改的門檻又降低了一截。
這項研究還不能證明什麼
CyberQ 觀察，研究者自己把這些結果稱為早期跡象，並指出目前受限於上下文長度與執行環境的效率。目前驗證過的最大模型只有 0.8B，同樣的方法能否套用到更大的模型或其他模型家族，文章沒有回答。另有報導提到 Qwen 實驗的成本約一千美元（此數字未出現在原文，待查），與微調相比是否真的省錢，研究者也明確表示尚未建立。
研究團隊表示正在建立權重空間程式設計的評測基準與執行環境，並已在 GitHub 公開所有實驗的完整紀錄，包括送給 Astra 的所有內容、它的回覆與推理摘要、執行過的程式碼，以及每個數字背後的評測過程。社群討論中多數人關注的，正是這些結果的可重現性，以及它與既有微調技術相比的實際效益。
延伸閱讀
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights，MIT CSAIL，2026 年 11 月 2 日
