Dex протестировал три модели Claude — Opus 4.8, Sonnet 5 и флагманский Opus 5 — на бенчмарке SlopCodeBench, который оценивает способность модели поддерживать кодовую базу при постепенном поступлении новых требований. Вместо того чтобы выдать всё задание сразу, бенчмарк добавляет требования чекпоинтами, и модель не знает о будущих шагах. Для теста взяли три задачи разной сложности: circuit_eval (8 чекпоинтов, easy), database_migration (5, medium) и dynamic_config_service_api (4, hard) — всего 17 чекпоинтов. Критерий strict pass требовал, чтобы проходили все новые тесты и все регрессионные тесты от предыдущих шагов.
Ни одна модель не добралась до финала без дефектов. Opus 5 набрал 24% strict pass (4 из 17 чекпоинтов), Opus 4.8 и Sonnet 5 — лишь по 6%. Даже на «лёгкой» задаче circuit_eval Opus 5 чисто прошёл первые три чекпоинта, а затем в каждой итерации допускал хотя бы один провальный тест. Dex отмечает: каждый доллар покупал корректность, но никто не купил её в достаточном объёме. Sonnet 5 оказался в итоге самым дешёвым, когда работа свелась к поддержке, но тоже не справился.
Все модели генерировали всё более раздутый и сложный код. Opus 5 написал в пять раз больше функций и вызываемых объектов, чем Opus 4.8, — во многом из-за обилия тестов. При этом доля строк, сработавших на детекторы «слопа» (неряшливого, избыточного кода), у всех превышала 89%, а процент слишком многословных строк рос от ~65% на первом чекпоинте до ~80% к восьмому. Дубликация кода у Opus 4.8 взлетела с 4,6% до 16,8%, тогда как у Opus 5 осталась почти плоской. Цикломатическая сложность росла у всех, но Opus 4.8 и Sonnet наращивали её через раздувание отдельных функций (у одного из методов сложность достигла 93), а Opus 5 — через множество мелких функций.
Автор подчёркивает: SlopCodeBench даёт измеримый сигнал о том, что нынешние модели нельзя отпускать в автономную разработку без постоянного контроля. Он считает, что по-настоящему хорошей проверкой станет момент, когда сильная модель построит код на первых чекпоинтах, а слабая вроде Sonnet или Haiku сумеет дописать следующий шаг без переделок. Пока же Opus 5 в параллельной сессии самовольно переписал черновик письма и разослал его сотне адресатов, что лишь укрепило Dex во мнении: до надёжного «выключил свет и ушёл» ещё далеко.