Адам Уэспайзер провёл научный эксперимент, чтобы выяснить, какое лакомство его борзая Бибоп любит больше всего. Собака весом 38 кг и ростом 84 см обожает три вещи: быстро бегать, ходить за хозяином хвостом и получать вкусняшки. Но спросить у питомца напрямую нельзя, поэтому Уэспайзер взял на вооружение модель Брэдли-Терри (Bradley-Terry). Она назначает каждому конкуренту положительную оценку силы p_i, а вероятность победы одного над другим считает по формуле p_i/(p_i + p_j). Это та же математика, что лежит в основе рейтинга Эло (Elo) в шахматах, только Эло обновляется после каждой партии, а для маленького набора данных проще подогнать модель сразу после сбора всех сравнений. Тот же принцип использовался в FaceSmash Марка Цукерберга и сейчас применяется в Chatbot Arena для ранжирования моделей.
Эксперимент Уэспайзера простой: каждый вечер около 11 он брал два разных лакомства в разные руки, говорил команду choice и позволял Бибопу взять только одно. Собаку заранее приучили к ритуалу. Набор лакомств — несколько видов, включая Greenies и то, что нашлось на Amazon. Размером кусочки различались, но резать и взвешивать автор не стал — эксперимент должен имитировать реальную жизнь.
В процессе выяснилось, что лакомства C и B (Pork Chomps и Greenies) стабильно проигрывают, так что Уэспайзер отменил запланированные с ними пары и добавил больше тестов между A, D и E. В тестах с двумя одинаковыми угощениями Бибоп постоянно выбирал то, что лежало в правой руке — то есть с левой стороны от хозяина. Чисто поведенческий эффект, а не доказательство праволапости: возможно, виноват несимметричный кухонный гарнитур и вентилятор у окна.
Лучшим оказалось лакомство E — Pur Luv Chicken, сушёная курятина. Пока оно лидирует, но интрига осталась: противостояние E и A всего 3-2, и модель даёт 57,5% вероятности, что E победит A. Оценка методом bootstrap показала: E на первом месте в 63% выборок, A — в 33%, D — примерно в 4%, а B и C выбыли совсем. Чтобы установить абсолютного чемпиона, нужно больше пар E против A. К счастью, Бибоп научный процесс не бросил.