← На главную

Репетитор запускает две модели параллельно для непрерывного общения

09.07.2026 20:51 · hackernews

Большинство AI-продуктов встраивают проверку безопасности последовательно: сначала модель, потом фильтр. Пользователь не замечает задержки в пару секунд, а разработчик готов подождать авторецензирования CLI-команды. Но в реальном разговоре с пятилеткой спрятаться некуда. Отменить сказанное нельзя — ребёнок не может «разучить» то, что услышал от репетитора. Система безопасности обязана блокировать любое действие на каждом шаге.

Классификатор безопасности — это LLM, которая работает 500–1000 мс. Ждать, пока он закончит, а потом запускать собеседника — значит добавлять секунду задержки к каждому ответу. Это неприемлемо. Тут и пригодился приём: разделить генерацию и исполнение.

Классификатор блокирует исполнение, но не генерацию. Как только ребёнок замолкает, система одновременно запускает классификатор и маленькую модель, которая генерирует первую реплику собеседника. Эта модель быстро выдаёт «нетерпеливый ответ» — эхо или согласие со словами ребёнка («ты любишь динозавров? я тоже!»).

Правила-фильтры были бы быстрее и дешевле, но не выдержали бы того, как на самом деле говорит пятилетка. Каждая новая категория в политике безопасности добавляет токены и требует перенастройки недетерминированного классификатора. Иногда ошибка распознавания пугает классификатор — и срабатывает ложное срабатывание. Такие случаи анализируют и используют, чтобы улучшить понимание ребёнка.

К тому моменту, как сгенерирован нетерпеливый ответ, классификатор обычно возвращает «безопасно». Этот сигнал разблокирует полноценного собеседника, пока нетерпеливый ответ уже выполняется. Ребёнок слышит непрерывную реплику — хотя внутри было несколько вызовов моделей.

Читать оригинал →