Разработчик фитнес-приложения In the Long Run решил добавить на карты виртуальных маршрутов интересные места — достопримечательности, парки, исторические объекты. Для этого он построил пайплайн обработки данных и в процессе столкнулся с типичными проблемами LLM: галлюцинациями и скрытыми предубеждениями.
Основным источником стала база GeoNames. Автор скачал дамп с лицензией Creative Commons, написал скрипты на Python, сохранил обработанные данные в Apache Parquet и использовал DuckDB для запросов. Из 13 миллионов строк сначала отфильтровали административные единицы и отобрали только релевантные типы объектов: замки, горы, памятники, парки. Также наложили фильтры по населению для городов и высоте для гор. Осталось около 725 тысяч точек.
На этом этапе вылез первый сбой: из-за англоязычного смещения (Wikipedia signal) пайплайн подтянул австралийский посёлок Stonehenge, но пропустил знаменитый Стоунхендж. Проблему починили, добавив перекрёстную проверку по Wikipedia и правильные альтернативные названия.
Дальше точки привязывали к маршрутам через GeoJSON-файлы, используя Shapely и Pyproj. Для кольцевой дороги Исландии (1321 км) получилось 511 POI, для самого длинного маршрута Кейптаун — Магадан (23 257 км) — 10 тысяч. А вот Route 66 (3787 км) выдала сразу 14 181 точку. Стало очевидно: данные сильно перекошены в сторону регионов, где живут англоговорящие редакторы Wikipedia.
На третьем этапе автор решил использовать LLM (Anthropic Haiku через Claude Code) для оценки значимости каждой точки. Первая попытка провалилась: модель приняла Central Park в захолустном Decatur, Illinois за знаменитый нью-йоркский Central Park и завысила ему рейтинг. После добавления метаданных (страна, город) и жёстких инструкций галлюцинации уменьшились, но не исчезли — Haiku приписывал городам несуществующее население, а горам — фантастическую высоту. Писать тексты для описаний через LLM автор забросил, решив, что корректность Wikipedia важнее литературного качества.
В итоге LLM оставили только для субъективной оценки интересности — как дополнительный сигнал к объективным данным (количество статей на разных языках, типы объектов). AI перестал быть фундаментом фичи и превратился в обычный инструмент.
Финальный этап — сборка JSON-файлов для каждого маршрута с персональными настройками. Выяснилось, что для разных регионов нужны свои параметры: густонаселённые маршруты превращали карту в карту плотности населения, а достопримечательности кучковались в городах. Пришлось добавить географический фильтр, чтобы разбавлять точки между мегаполисами и сельской местностью.
Главный вывод: для реальных данных нет объективных юнит-тестов вкуса. Нельзя отладить свойство «интересности» как обычный баг. Первую версию уже запустили для выбранных маршрутов на InTheLongRun.app.