Amazon скупает редкие книги, разрезает корешки и сканирует страницы для обучения ИИ. Журналисты 404 Media вложили в одну такую книгу трекер и проследили её путь: посылка приехала на склад Amazon в Лас-Вегасе, который называется VGT3. На здании склада — символ в виде динозавра, держащего книгу в когтях. Amazon в ответ на запрос 404 Media заявил, что покупает книги через коммерческие каналы, чтобы улучшать продукты и сервисы для клиентов.
Зачем Amazon такое? LLM нужно невообразимо много текста. Интернет компании уже вычистили почти под ноль, а в случае Anthropic доходило до незаконного пиратства книг. Редкие книги — особенно те, что вышли из печати или вообще не найти в сети, — становятся желанным источником свежих обучающих данных.
Эти тексты ценны ещё и тем, что всё изданное до 2022 года не мог написать LLM. Если нейросеть учится на сгенерированном контенте, возникает риск «model collapse»: качество ответов деградирует после переизбытка ИИ-текста. Редкие книги помогают этого избежать.