Интернет, как выясняется, понемногу исчезает. Исследование Pew Research Center показало, что 38% веб-страниц, существовавших в 2013 году, уже недоступны. В целом за десятилетие пропало около четверти всех страниц. Это не единичный случай — похожие цифры всплывают постоянно. SEO-компания Ahrefs в том же году отчиталась, что мертвы как минимум 66,5% ссылок за последние 9 лет. А в 2021 году Джонатан Циттрейн в статье для The Atlantic разобрал 2 миллиона внешних ссылок New York Times и выяснил, что сгнило 25% глубоких ссылок, а у старых материалов 1998 года — вообще 72%.
Исследователи из Old Dominion University изучили 27,3 миллиона URL из индекса Wayback Machine начиная с 1996 года. Они обнаружили, что к 2023 году около 65% этих ссылок мертвы. Брюстер Кейл, основатель Internet Archive, давно говорит: средний срок жизни веб-страницы — от 40 до 100 дней.
Но есть и хорошие новости. Wayback Machine спасает значительную часть пропавшего контента. Если не учитывать архивы, каждая четвёртая ссылка из набора Pew (5,4 миллиона URL) была бы мертва. Но если подключить Wayback Machine, доля потерь падает до одной десятой. Архив содержит 72% всего датасета: 56% — это живые страницы, а 16% — те, что уже умерли, но сохранены. Из тех 38% страниц 2013 года, которые пропали, архив вернул около 15% от общего числа.
С собственным датасетом для NYTimes (88 тысяч внешних ссылок за 2013 год) картина ещё лучше: 40% ссылок мертвы, но 96% из них есть в Wayback Machine. Правда, тут есть оговорка — выборка сделана из уже заархивированных страниц, так что результаты могут быть завышены.
Проект Turn All References Blue (TARB) уже починил более 30 миллионов битых ссылок на сотнях вики с помощью ботов InternetArchiveBot и WaybackMedic bot. Полностью воскресить исчезнувший контент сложно, но команда Internet Archive старается сократить число «исчезающих» страниц. Проблемы есть: нехватка ресурсов, сайты с JavaScript, блокировки ботов, paywalls. Тем не менее, архив внедряет новые способы сбора данных — через MediaCloud, GDELT, Wikipedia EventStream и инициативу IndexNow. Пользователям предлагают самим сохранять важные страницы через сервис Save Page Now (SPN). Правило простое: увидел что-то важное — сохрани.