Порядок слов: зачем модели номера позиций

Механизм внимания сам по себе видит только набор слов — без порядка. Поэтому к каждому токену добавляют метку позиции. Выберите фразу и выключите метки: где модель потеряет смысл, а где её выручат окончания?

Упрощённая схема: в настоящей модели позиция — не номер на табличке, а числа, которые подмешиваются к эмбеддингу токена, а роли слов модель выводит сразу из многих признаков. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.