Trakkr проверила, откуда AI-ассистенты берут числа, которыми так уверенно отвечают. Исследователи задали ChatGPT, Perplexity, Gemini, Claude и Google AI Overviews 200 вопросов и проследили источники 1285 процитированных статистик — иногда на глубину пяти ссылок.
Только в 40% случаев цепочка заканчивалась исследованием, которое подтверждало и число, и его смысл. Ещё 8% приводили к источнику, но по дороге изменились цифры или контекст. В 40% случаев проверить первоисточник не удалось, а в 11% число просто пересказывалось без всякого исследования.
Сами ассистенты редко выдумывали цифру прямо в ответе: на странице по первой ссылке она присутствовала в 82% случаев. Проблема в качестве этих страниц. Лишь 21% ссылок вёл к оригинальному исследованию, а больше половины — к корпоративным блогам и подборкам, которые повторяют чужие данные. Ссылка показывает, где модель нашла число, а не где оно появилось на самом деле.
ChatGPT оказался аккуратнее остальных: 57% его статистик подтверждались источником, при этом он приводил меньше всего чисел — 1,3 на ответ. У остальных доля подтверждённых составила от 38% до 46%. Но единодушие моделей ничего не доказывает. Все пять называли 44% продавцов, которые прекращают попытки после одного follow-up, хотя цепочка заканчивалась примером статьи фрилансера без исследования.
Часто искажается не сама цифра, а окружение. Исследование 15 женщин, оценивавших медицинские сайты в 2004 году, превратилось в универсальное утверждение, будто 94% первых впечатлений о любом сайте связаны с дизайном.
Вывод практический: идите по ссылкам до оригинального исследования и проверяйте дату, выборку и формулировку измерения. Пять одинаковых ответов — это не пять независимых источников.
Всего исследование охватило тысячу ответов и 3167 чисел. Машинную оценку цепочек дополнительно сверяли вручную на выборке из 150 случаев: люди находили оригиналы, которые строгий AI-судья пропускал.