Кейван в своём блоге оспаривает утверждение Anthropic, что вотермаркинг не влияет на качество ответов Claude. Компания опирается на исследование Google SynthID-Text, опубликованное в Nature в 2024 году, где заявлено сохранение качества. Автор не отрицает результаты проверок отдельных ответов, но считает их неполными: пользователи обычно ведут диалог, повторяют запросы и выбирают лучший из нескольких вариантов.
В дополнительных материалах исследования указан компромисс между разнообразием и обнаруживаемостью. Гарантия недисторсии относится к одной последовательности, но не обязательно сохраняет различия между несколькими ответами. При повторной генерации на один и тот же запрос вотермаркированные варианты в среднем более похожи друг на друга, чем обычные. Сами исследователи допускают, что это может ухудшить систему, которая создаёт несколько ответов и затем выбирает лучший.
По мнению автора, проблема затрагивает и обычное редактирование текста. Если пользователю не понравилось предложенное окончание фразы, повторная генерация может снова дать близкий вариант. Это противоречит представлению о вотермарке как о простой замене одних случайных чисел другими без последствий для результата.
Технический консультант Нацир Туррадо воспроизвёл SynthID-Text на открытой модели с параметрами исследования. На пятикратный запрос описать поездку в приморский город четыре ответа с вотермарком начались почти одинаково, тогда как у обычной модели три варианта начинались по-разному. Это небольшая демонстрация, а не исчерпывающая оценка качества.
Автор также предполагает, что сходство может проявляться между разными запросами из-за короткого скользящего контекста, но отдельно отмечает: исследователи этот сценарий не проверяли. Ещё одно следствие касается оценки надёжности через повторные запросы. Если ответы направляются одним ключом вотермарка, их совпадение меньше похоже на независимый консенсус.
Вывод статьи заключается в том, что человеческие тесты одиночных ответов не измеряют наиболее уязвимую сторону метода. По мнению автора, вотермаркинг способен ограничивать творческий диапазон модели, даже если каждый отдельный текст сохраняет прежнее качество.