Как LLM досочиняет ответ

LLM — не поисковик, а «супер-Т9»: на каждом шаге она выбирает самое вероятное продолжение текста. Посмотрите, как из этого получается и верный ответ, и уверенная выдумка.

Вы

Какой день идёт после вторника?

Модель

Кандидаты на следующее слово

«День после вторника — …»

    Вероятности учебные, придуманы для иллюстрации. Реальная модель на каждом шаге выбирает среди десятков тысяч токенов (слов и их кусочков), а не из трёх-четырёх вариантов.