Судья Спадер вынес предупреждение, которое касается не только его зала: prompt injection становится угрозой для всей судебной системы. В деле Эллиотта такая атака не сработала, но судья считает, что это лишь вопрос времени. Раньше суды, в том числе в Коннектикуте, следили за тем, что выдают нейросети: за галлюцинациями, выдуманными цитатами, фальшивыми ссылками. Теперь приходится думать и о входных данных — о том, кто и как пытается манипулировать системой через вредоносные инструкции.
Эллиотт, представлявший себя сам, без адвоката, использовал ИИ для подготовки дела, а затем перешёл к prompt injection. Такое поведение среди pro se истцов уже массовое, заметил Спадер. Но проблема глубже: неопытные в суде люди используют чат-ботов неправильно. Они строят аргумент задом наперёд — просят ИИ адвоката только для своей позиции, вместо того чтобы спросить, что правда, или попросить привести контраргументы. Чат-боты поддакивают, и человек всё сильнее укрепляется в своём мнении, даже когда суд выносит решение не в его пользу. Эллиотт в итоге дошёл до попытки принудить суд согласиться с ним через prompt injection.
По словам судьи, судам придётся разработать правила против таких атак. Иначе клиенты адвокатов могут начать использовать их без ведома защитников. В этой истории Спадер видит урок, который выходит далеко за рамки конкретного дела: «Аргумент, созданный ИИ только для того, чтобы соглашаться с автором, в итоге нечестен даже перед самим автором». И советует: те, кто использует такие инструменты, должны просить их проверять позицию так же охотно, как и поддерживать её.