Стэнфордский университет запускает курс CS 329B, который заточён под полный цикл создания языковой модели — от сбора данных до развёртывания. Идея в духе OS-курсов: студенты не просто изучают теорию, а собирают всё руками с нуля. Среди предварительных требований — уверенное владение Python, опыт с PyTorch, знание матанализа, линейной алгебры, статистики и основ ML. Упор сделан на реализацию: кода будет на порядок больше, чем в других AI-классах, а scaffolding минимальный.
Всего в курсе пять заданий. Первое — базовое: реализовать токенизатор, архитектуру Transformer и оптимизатор, обучить минимальную модель. Второе посвящено производительности и системам: профилирование, бенчмаркинг, собственная реализация FlashAttention2 на Triton и сборка распределённой версии для экономии памяти. Третье — скейлинг: изучается устройство каждого компонента Transformer, через API подгоняется scaling law для прогноза поведения модели. В четвёртом задании студенты работают с raw-дампом Common Crawl: фильтрация, дедупликация, подготовка данных для претрейнга. Пятое — alignment и reasoning RL: supervised finetuning и reinforcement learning для обучения модели решать математические задачи, плюс опциональная часть с DPO для safety alignment.
Курс идёт на 5 единиц, это очень тяжёлая нагрузка. Для отладки рекомендуют сначала гонять код на CPU, а финальные прогоны (Assignment 1, 4, 5) и бенчмарки (Assignment 2) — уже на GPU. В качестве спонсора вычислений указан Modal. Политика академической честности жёсткая: AI-автодополнение в IDE (Cursor Tab, GitHub CoPilot) настоятельно рекомендуют отключать, чтобы глубже вникать в материал. ChatGPT разрешён только для низкоуровневых вопросов по программированию или общих концепций, напрямую решать задания нельзя. У каждого студента — 6 дней просрочки на весь курс, но не более трёх на одно задание. Сдавать можно сколько угодно раз до дедлайна через Gradescope, засчитывается последняя попытка. Пересдачи по объективным ошибкам — в течение трёх дней после публикации оценок.