MIT CSAILのRikiya Takehiらが11月2日、フロンティアモデルにニューラルネットワークの重みを読ませ、書き換える実験を公開した。呼び方はWeight-Space Programmingで、最適化器や学習ループを書かせず、自然言語の指示と限られた前向き計算だけで重みを変える。
最も大きい言語モデルの例は、思考をオンにしたQwen3.5-0.8Bだ。Astraは練習問題への前向き計算を最大50回使い、15層と19層のMLPが書く1つの方向が思考のループを生んでいると特定した。その方向を各層の出力64列から引き、131,072個、全体の0.016%だけを変えた。著者らの評価ではMATH-500が7.9%から48.1%、GSM8Kが13.8%から67.1%、指示追従のIFEvalが21.0%から62.3%になり、3万2,768トークン上限に達する割合は93%から33%に下がった。
同じ手順を、ほとんどループしないGemma 3 270Mに適用してもMATH-500は6.8%から最大7.7%で、著者らは隠れていた能力の障害は外せても、持っていない能力は足せないと書いている。MinAtarでは環境でロールアウトせずに重みを書き、1億ステップのPPOを上回る例もあった。実務の再学習を置き換える結果ではなく、スコアの急伸が失敗モードの除去かを分けて見る必要がある。