Автор разбора считает вводящей в заблуждение формулировку исследования Astra, будто модель способна улучшать нейросети, просто рассматривая их исходные веса. В аннотации заявлено, что GPT-6 Astra определяет назначение сети по числовым параметрам, создаёт игровые модели, превосходящие результат PPO, и повышает точность Qwen3.5-0.8B на MATH-500 с 7,9% до 48,1%, изменив 0,016% весов. Однако эти результаты получены разными методами и в разных условиях.
Непосредственная передача сырых весов в контекст без Python и запуска сети использовалась только в трёх экспериментах. Astra четыре раза из четырёх угадала игру, для которой PPO обучил небольшой MLP, три раза из трёх определила форму, генерируемую diffusion-сетью, и исправила застрявшую политику автомобиля Kinetix. Размер этих сетей составлял от 17 до 172 тысяч весов. Для исправления Kinetix также использовалась одна записанная неудачная попытка, поэтому даже здесь модель получала не только параметры.
Другие эксперименты давали системе дополнительные возможности. При создании игровых MLP веса изначально были нулевыми, поэтому читать существующую сеть было нечего. В задаче Go 9×9 разрешались Python и до 50 запусков модели. Заявленное превосходство над PPO тоже требует уточнения: при сравнении с PPO-500M Astra выиграла в Breakout, но уступила в Seaquest и Asterix.
Главный результат с Qwen не относится к чтению весов напрямую. Модель писала Python-код, запускала Qwen на практических математических заданиях и выполняла до 50 проходов. Фактически Astra самостоятельно организовывала работу, похожую на действия ML-инженера: анализировала модель, выбирала преобразование и проверяла эффект. Аналогичная попытка с Gemma 3 закончилась неудачей.
Автор признаёт, что такая автоматизация полезна и была бы недоступна моделям прошлых лет. Его возражение касается подачи результата: объединение этих опытов создаёт впечатление единой способности понимать и записывать веса, хотя исследование демонстрирует набор разных техник, а не общий метод.