На каждом шаге модель ставит оценку каждому кандидату на следующий токен, переводит оценки в проценты и тянет жребий: чем больше процент, тем шире сектор на рулетке. Поэтому кнопка «перегенерировать» выдаёт другой текст.
1 · Оценки → вероятности
Логит — сырая оценка модели. Формула softmax превращает оценки в проценты, в сумме 100%.
| Кандидат | Оценка | Вероятность | Процент |
|---|
2 · Жребий
Нажмите «Бросить кубик» — посмотрите, какое слово выпадет.
Сколько раз выпало каждое слово
Оценки придуманы для примера, а у настоящей модели кандидатов десятки тысяч — весь словарь токенов. Насколько «смело» тянуть жребий, задаёт температура: при низкой почти всегда выпадает лидер, при высокой — чаще редкие варианты. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.