Авторка блога eva.ac рассказала, почему не применяет LLM в своих исследованиях по программированию и кибербезопасности. По её словам, читатели всё чаще спрашивают, какая модель помогла написать очередной материал, хотя все опубликованные тексты и исследования она выполняла сама. Главная причина — удовольствие от самого процесса: разбирать исходный код, изучать бинарные файлы, писать программы и часами искать неожиданное решение ей интереснее, чем получать готовый результат.
Она не считает даже рутинные части работы безусловным кандидатом на делегирование. Кроме того, ей неудобно присваивать себе результат работы модели и публиковать его от своего имени. Совместные исследования с людьми в блоге явно атрибутируются, а корректно указать авторство LLM она не может.
Авторка признаёт возможности современных моделей, но критикует их уверенно ошибочные ответы и сомнительные действия агентов. Попытки использовать LLM заканчивались тем, что она останавливала генерацию до ответа. При этом она подчёркивает: модели всё ещё нуждаются в направлении со стороны опытного специалиста. Громкие находки уязвимостей, по её мнению, являются результатом совместной работы исследователей и ИИ, а не самостоятельного решения произвольной сложной задачи.
Отдельно она разбирает маркетинг вокруг php2shell. Calif, OpenAI и Wiz описали одну работу с разными акцентами: от участия человека как направляющего до почти самостоятельного обнаружения критических уязвимостей агентом. Авторка также критикует публикацию демонстраций неисправленных уязвимостей и загадочных хэшей с названиями продуктов: такие сообщения, по её мнению, создают панику и рекламируют исследователей вместо содействия безопасному раскрытию.
В качестве примера она приводит историю tailworm: публичная кампания вокруг проблемы Tailscale сопровождалась громкими заявлениями, хотя практические условия были уже первоначального впечатления, а координированного раскрытия, по её словам, не было.
Наконец, авторка напоминает, что слабый закрытый ключ eMudhra нашёл человек с помощью библиотеки paranoid_crypto, а не ИИ. Она призывает не отдавать личные проекты моделям: самостоятельные ошибки, тупики и эксперименты дают больше обучения и удовольствия, чем конечный результат сам по себе.