Эти настройки решают, из каких кандидатов модель тянет жребий и насколько смело. Двигайте ползунки и смотрите, как меняются шансы слов, а потом сгенерируйте несколько вариантов.
Настройки
Низкая — шансы лидера растут, ответы предсказуемы. Высокая — шансы выравниваются, в игру входят странные варианты.
Оставляет только K самых вероятных кандидатов, остальные отбрасывает.
Берёт кандидатов по убыванию, пока их сумма не наберёт P — например, 90%. Хвост отбрасывает.
Шансы после настроек
Пять генераций подряд
Где граница. В обычных веб-чатах этих ползунков нет: их задают разработчики через API — например, параметры temperature и top_p в GigaChat API. Низкая температура делает ответ предсказуемым, но не правдивым: если фактов нет, модель будет уверенно повторять одну и ту же выдумку.
Оценки кандидатов придуманы для примера. У разных сервисов свои значения по умолчанию, а некоторые модели с режимом рассуждения часть этих настроек игнорируют. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.