OpenAI посчитала GPT-2 слишком опасной для публичного релиза — модель умела генерировать текст, неотличимый от человеческого. Вместо полной версии компания выложила маленькую модель и технический доклад, оставив всех гадать, насколько мощной получилась настоящая GPT-2.
Архитектурно GPT-1 и GPT-2 не отличаются. Обе построены на декодере трансформера. Разница — в масштабе. GPT-1 показала: предобученная модель уже содержит всё необходимое для решения задач, а дообучение (fine-tuning) лишь добавляет финальный штрих. Если этот принцип верен, увеличение числа параметров должно улучшить производительность.
GPT-2 стала прямым увеличением GPT-1 по всем фронтам. Самая большая конфигурация, которую OpenAI не выпустила в феврале 2019 года, содержала 1,5 миллиарда параметров — в 10 раз больше, чем у GPT-1. Модель обучалась на 40 ГБ веб-текстов и побила state-of-the-art на бенчмарках по языковому моделированию, пониманию прочитанного, ответам на вопросы и суммаризации. Внутри гигантской версии — 48 блоков декодера с размерностью эмбеддингов (d_model) 1600. Для сравнения: оригинальный трансформер использовал 6 блоков и d_model = 512.
Через девять месяцев OpenAI всё-таки выложила полную GPT-2 с 1,5B параметров, включая код и веса модели. Компания подвела итоги эксперимента: люди считают тексты GPT-2 убедительными; модель можно дообучить для злоупотреблений; детекция сложная (детектор RoBERTa ловил ~95% сгенерированного GPT-2 текста); серьёзных случаев неправильного использования не обнаружено; нужны стандарты для изучения предвзятости (bias) в таких моделях.
Сейчас, на фоне ChatGPT, GPT-2 не кажется особенно опасной. OpenAI применила полученные уроки — например, ChatGPT отказывается выдавать себя за других людей. Но другие проблемы, вроде использования модели студентами для домашних заданий, предотвратить гораздо труднее. И с улучшением ИИ они будут только усугубляться.