Исследователи представили ранние эксперименты с Weight-Space Programming — прямым чтением и изменением весов нейросетей универсальной языковой моделью по описанию задачи на естественном языке. В отличие от обычной оптимизации, GPT-6 Astra рассуждает о функциях отдельных компонентов и записывает новые значения без gradient descent и обучающего цикла.
В небольших сетях Astra по одним весам правильно определяла игру, для которой обучена политика PPO, форму, генерируемую diffusion model, и язык символьной языковой модели. В последнем эксперименте входной и выходной слои удалили: модель видела только четыре промежуточных transformer-блока, но нашла все copying heads, подтверждённые последующими измерениями. По одному описанию сцены и записанному эпизоду она изменила 3,5% весов сети управления автомобилем: после правки машина успешно преодолевала препятствие во всех 1024 эпизодах вместо нуля до изменения.
Astra также создавала небольшие игровые сети с нуля. В трёх MinAtar-играх её варианты превзошли PPO после 100 млн шагов, хотя при 500 млн шагов результат зависел от игры. Сеть для Go 9×9 с 1,48 млн параметров собиралась через Python как послойная программа; с 50 контрольными прогонами она обыграла PPO той же архитектуры, обученную на 20 млн партий. Это лабораторные сравнения в заданных авторами условиях, а не универсальная замена обучению.
Главный пример касается Qwen3.5-0.8B. Базовая модель часто повторяла текст до лимита 32 768 токенов. Astra связала зацикливание с направлением, записанным MLP-слоями 15 и 19, и вычла его из 64 выходных столбцов в каждом слое. Изменились 131 072 веса из 0,8 млрд — 0,016%. После 50 тренировочных прогонов без градиентов MATH-500 вырос с 7,9% до 48,1%, GSM8K — с 13,8% до 67,1%, IFEval — с 21,0% до 62,3%. Доля ответов MATH-500, упиравшихся в лимит, снизилась с 93% до 33,1%.
Ограничения видны в отрицательных результатах. Без активаций Astra не смогла отличить sycophantic-модель Gemma 3 270M по весам, хотя справилась после доступа к attention patterns. У Gemma без выраженных циклов точечные правки почти не улучшили математику: удалось убрать помеху существующей способности, но не добавить отсутствующее умение. Авторы признают ограничения контекста и harness и разрабатывают отдельный benchmark для воспроизводимой проверки подхода.