Блогер провёл эксперимент: попытался научить локальную LLM писать в стиле технического писателя из 90-х. Для этого он взял корпус текстов с сайта Bitsavers — коллекцию старых компьютерных мануалов и брошюр. Его выбор пал на Microsoft collection: 37 миллионов слов документации с 1977 по 2005 год, включая описания древних SDK и систем.
Он скачал OCR-файлы, почистил их от мусора с помощью Python, а затем прогнал через дешёвую модель gemma-4-26b через OpenRouter, чтобы отсеять нечитаемые куски. Второй проход обошёлся в 8 долларов. Готовый датасет разбили на 192 456 примеров по 512 токенов каждый — их скормили модели на дообучение.
Вместо того чтобы тратить миллионы на собственную LLM (которую автор шутливо назвал Fabrice), он выбрал QLoRA — метод, при котором модель не переучивается с нуля, а поверх неё навешивается маленький адаптер, меняющий поведение. Для экспериментов арендовали мощности на Runpod: Nvidia B200 с 192 ГБ памяти за 6 долларов в час. Дообучали две модели: Llama 3.1 8B Instruct и Qwen 2.5 7B Instruct.
Тестировали на трёх заданиях. Настоящую функцию malloc() все модифицированные модели описали в правильном ретро-формате — с Synopsis и Return Value. Вымышленную ConnectWifi() — аналог Win32 API — правильно распознал только вариант, прошедший три эпохи обучения. Остальные «ломали четвёртую стену». А вот тест на анахронизм оказался самым интересным: модель должна была объяснить REST API (концепция 2000-х) в стиле 90-х. Qwen 192k справилась блестяще — её ответ напоминал главу из Windows 2000 Resource Kit.
Эксперимент показал любопытный эффект: чем беднее адаптер (низкий rank, мало эпох), тем правдоподобнее он имитирует стиль, не отклоняясь от корпуса. Rank 16 даёт больше свободы, но и больше галлюцинаций. Вывод автора: дообученная модель — отличный имитатор и помощник для проверки стиля или набросков текста, но она никогда не заменит живого технического писателя. Fabrice подождёт.