Brain2Qwerty v2 — новый неинвазивный декодер, который переводит активность мозга в текст в реальном времени. Это улучшенная версия прошлогодней v1, и теперь она работает без хирургического вмешательства, используя только магнитоэнцефалографию (MEG). Система прошла обучение на примерно 22 000 предложений от девяти добровольцев, каждый из которых записывался по 10 часов за MEG-устройством, активно печатая. Вместо ручных пайплайнов для выделения нейронных событий используется end-to-end глубокое обучение прямо с сырых сигналов мозга.
Точность распознавания слов достигла 61% — это огромный скачок по сравнению с 8% у других неинвазивных методов. Для лучшего участника результат составил 78%, причём больше половины всех предложений декодируются с ошибкой не более чем в одном слове. Такой прогресс стал возможен благодаря fine-tuning больших языковых моделей на нейроданных: модель учится учитывать семантический контекст и заполнять пробелы между зашумлёнными сигналами мозга и связным текстом. Также использовались AI-агенты для самостоятельного поиска оптимизаций пайплайна, а финальные конфигурации обучения отбирались инженерами вручную.
Исследователи заметили, что точность декодирования растёт лог-линейно с объёмом данных — это значит, что оставшийся разрыв с инвазивными методами (которые требуют вживления электродов в мозг) можно сократить просто увеличением выборки. Вся работа ведётся открыто: команда публикует полный код тренировки Brain2Qwerty v1 и v2, а партнёр — Баскский центр познания, мозга и языка (BCBL) — выпускает датасет v1. Это часть более широкой инициативы по созданию открытых фундаментальных моделей мозга, куда входят модель Tribev2 для кодирования восприятия, фреймворк NeuralSet для обработки мозговых данных в масштабе и бенчмарк NeuralBench для систематической оценки моделей. Под эгидой Digital Brain Project уже выделен фонд в 5 миллионов долларов на стимулирование открытых датасетов. Цель — ускорить диагностику и лечение неврологических расстройств, в первую очередь помочь миллионам людей, которые из-за поражений мозга потеряли способность говорить.