Профессора права в США поставили ответы нейросетей выше, чем ответы коллег-преподавателей. Это выяснилось в исследовании Стэнфордской школы права под руководством профессора Julian Nyarko.
В слепом тесте 16 профессоров из разных вузов сравнили почти 3000 ответов на студенческие вопросы по контрактному праву. Ответы от AI победили в 75% парных сравнений. Профессора сочли педагогически вредными только 3.5% ответов от нейросетей — и 12% ответов людей. Разница огромная.
Учёные специально взяли право, потому что там нет однозначных правильных ответов. Адвокаты оценивают качество аргументов, а не факты. И AI справился: его ответы сравнимы с лучшими преподавателями в выборке. «Нас поразил масштаб. Это не вопросы с ответом да/нет, — сказал Nyarko. — Требовалось синтезировать сложный материал и применять его к новым ситуациям».
Соавтор исследования из Yale Law School Sarath Sanga добавил: «В юриспруденции два противоположных аргумента могут быть хороши. Мы хотели узнать, может ли AI соответствовать латентному профессиональному стандарту. Ответ — да».
Исследователи калибровали ответы AI по длине и структуре, использовали несколько методов оценки. Среди протестированных моделей — коммерческие системы и Google NotebookLM. Даже когда контекстные ограничения влияли на ответы AI, профессора всё равно чаще предпочитали их.
Nyarko предостерегает от поспешных выводов: «Мы не призываем полностью внедрять AI-репетиторов. Но данные говорят, что тотальный скепсис тоже неоправдан. Разговор нужно перевести с "может ли AI давать точные ответы" на "как внедрять его ответственно"».
Исследование опубликовано на SSRN. За экспериментом стоит liftlab — лаборатория Стэнфорда, которая объединяет исследования, прототипирование и работу с индустрией.