Закрытые большие языковые модели вроде GPT-4 показывают выдающиеся результаты, поэтому исследователи активно пытаются «перелить» их знания в маленькие и дешёвые модели. Проблема в том, что у таких учителей — чёрных ящиков — нельзя заглянуть внутрь и посмотреть на скрытые состояния. Без них обычная дистилляция знаний (KD) работает плохо.
Авторы статьи (Хунчжань Чэнь с коллегами) придумали обходной манёвр — метод Proxy-KD. Идея простая: между большим чёрным ящиком и маленькой ученической моделью ставится модель-посредник (прокси). Этот прокси сам учится на выходах GPT-4, а затем уже передаёт знания маленькой модели. Получается эффективнее, чем пытаться напрямую скопировать ответы из чёрного ящика.
Эксперименты показали, что Proxy-KD не просто улучшает дистилляцию из закрытых моделей — он бьёт даже традиционные методы белого ящика, где внутренности учителя полностью доступны. То есть можно получить модель, которая работает почти как GPT-4, но стоит копейки, и при этом не нужно взламывать API или добывать логиты.
Авторы называют это новым перспективным направлением для дистилляции продвинутых LLM. Метод решает главную головную боль разработчиков: как выжать максимум из большого учителя, если он не делится внутренней кухней.