Популярная метрика покрытия словарного запаса показывает долю знакомых словоупотреблений, а не количество реплик, которые зритель способен понять целиком. Learnfromx сравнил оба показателя на субтитрах восьми аниме. В первых 3000 репликах Frieren 500 самых частотных слов дают покрытие 85,9%, но все слова известны лишь в 38,4% реплик. Разница возникает потому, что частицы и грамматические слова повторяются очень часто, тогда как для понимания строки в среднем нужно знать все семь входящих в неё слов.
Разрыв обнаружился во всех восьми сериалах. При словаре в 500 слов доля полностью покрытых реплик варьировалась от 32,7% в Jujutsu Kaisen до 55,9% в Serial Experiments Lain. Даже при 95% покрытия Lain понятными оставались только 77,5% строк.
Изучение следующих 500 слов полезнее, чем предполагает метрика покрытия. В Frieren оно выросло лишь на 6,5 процентного пункта, а доля полностью известных реплик — на 22,1 пункта. Из 1849 непонятных при первоначальном словаре строк 1042 не хватало только одного слова. Однако быстро закрыть эти пробелы несколькими словами нельзя: в них встречалось 804 разных неизвестных слова.
Общий список из 2000 частотных слов японского языка обеспечил лишь 23,4–37,6% реплик, тогда как 2000 самых частотных слов конкретного сериала — 74,3–93,3%. Словарь первых эпизодов работает и дальше, но хуже: на четырёх проверенных сериалах результат снижался на 5,5–14 пунктов из-за смены сюжетной тематики.
Методика имеет ограничения. «Понятной» считается строка, где известны все словарные формы слов; грамматика, чтение иероглифов, скорость речи и контекст не учитываются. Многозначность завышает результат, а ошибки токенизатора Sudachi и качество субтитров влияют на подсчёты. Кроме того, удаление повторов занижает долю простых реплик по сравнению с реальным просмотром. Поэтому цифры полезны для сравнения подходов, но не измеряют фактическое понимание аниме человеком.