Hightouch протестировала языковые модели как автоматических проверяющих для identity resolution — задачи объединения записей, относящихся к одному реальному человеку. Компанию интересовало прежде всего избыточное объединение, когда один профиль ошибочно включает данные нескольких людей. Такие ошибки трудно измерять без ручной проверки: специалист просматривает лишь около 50 профилей в час, а для оценки редкой ошибки с точностью до одного процентного пункта нужно больше тысячи примеров.
Для эксперимента использовали pseudopeople от Института показателей и оценки здоровья Вашингтонского университета. Инструмент создал записи жителей вымышленного американского города из разных источников с реалистичными ошибками: опечатками, пропусками, изменением адресов и перестановкой даты. Исследователи собрали тысячу профилей, половина которых содержала ошибочные объединения. Реальные люди в данных не использовались.
На исходном тесте Claude Opus 5.5 показал точность 99%, Jev — 95,7% после настройки порога уверенности, а GPT-6 Luna — 97,3%. Decision-модели оказались существенно дешевле и быстрее: Jev обрабатывал профиль примерно за 0,15 секунды по цене $0,05 за тысячу, тогда как Opus требовал 2,2 секунды и $3,86. Однако в более сложном наборе с похожими людьми и противоречивыми важными полями точность Jev упала до 89,1%, Luna — до 88,8%, а Opus — до 95,1%.
Ключевым отличием стала калибровка уверенности. Ошибки Jev чаще сопровождались средними значениями уверенности, а Luna нередко ошибалась с уверенностью 90–100%. Поэтому Hightouch добавила вторую стадию: недорогая модель проверяет все профили, а сомнительные случаи передаются Opus.
Гибрид Jev с диапазоном 30–90% отправлял на вторую проверку 22% простых случаев и достиг точности 98,8% при цене $0,88 за тысячу. На сложном наборе тот же механизм автоматически направлял больше работы Opus: результат 95,3% оказался даже немного выше одиночного Opus, а стоимость составила $2,94 против $5,39. Гибрид Luna оказался дешевле, но на сложных данных достиг лишь 91,6% из-за чрезмерной уверенности. Hightouch делает вывод, что хорошо откалиброванная неуверенность позволяет системе самой увеличивать расходы на трудных примерах; полученные цены и задержки относятся только к её собственной конфигурации.