Ошибки в сети и ИИ дают гибкость решать сложные задачи

Джеймсу Куросе приписывают популярную цитату о сети, которая гласит, что Интернет работает отлично именно потому, что он не обязан этого делать. Протоколы IP и нижних уровней не гарантируют доставку пакетов, полный сбой полностью соответствует правилам протокола. Это позволяет создавать более простые и мощные решения без лишней сложности на обеспечение успеха. Протокол TCP пытается обеспечить доставку, перезапуская связь при ошибках, но даже он сообщает о неудачах上层 уровням. Похожая логика работает в современном искусственном интеллекте. Машинное обучение эффективно работает, потому что допускает ошибки. Нейросети используют функцию softmax для определения вероятности выходов и никогда полностью не исключают никакой возможности, всегда присваивая ей крошечную вероятность. Когда задача слишком сложна, модель генерирует несколько вариантов с ненулевыми вероятностями, как в недавнем посте автора, где обученная модель формировала равномерное распределение для вывода генератора псевдослучайных чисел. Не заставляя модель ригидно давать конкретный ответ, мы смотрим на распределения и позволяем ей ошибаться. Так модель оказывается верной, когда делает вероятностные предположения в ситуациях, которые слишком сложны для прямого решения. Это даёт ей возможности достичь лучшего результата. Раз мы разрешаем моделям совершать ошибки, они получают гибкость решать сложные задачи гораздо чаще, что приводит к высокой производительности даже при неопределённости.