Три этапа обучения: сначала модель учится продолжать любой текст, потом — отвечать на поручения, потом люди оценивают её ответы. Пройдите вкладки по порядку.
Предобучение (pre-training) — модель миллиарды раз угадывает следующее слово в текстах из интернета. Она выучивает язык и много фактов, но ещё не умеет выполнять поручения: на вопрос она просто продолжает текст, как в тех документах, что видела.
Что пишет пользователь
Что отвечает «сырая» модель
Модель узнала «строку из списка похожих запросов» и продолжила список. Это не ошибка — именно так выглядели тексты, на которых она училась.
Дообучение на примерах (SFT — supervised fine-tuning) — модели показывают тысячи пар «поручение → образцовый ответ», написанных людьми. Нажимайте «Показать пример» и следите, как меняется ответ на тот же запрос.
Примеры от экспертов
Ответ на тот же запрос
Оценки людей (RLHF — обучение с подкреплением на отзывах людей) — модель пишет два ответа, человек выбирает лучший, и модель подстраивается под выбор. Побудьте оценщиком: у вас нет времени проверять факты. Какой ответ полезнее?
Алексей Веселовский (род. 1971) — российский физик, профессор. Окончил физфак МГУ, с 2009 года руководил лабораторией мембранных технологий. В 2018 году в Тюмени представил квантовый опреснитель, снижающий энергозатраты на 40%…
Выдумка: такого профессора и изобретения нетЯ не нашёл достоверных сведений о профессоре Алексее Веселовском и квантовом опреснителе, изобретённом в Тюмени в 2018 году. Возможно, в запросе неточность. Если у вас есть источник, пришлите его — помогу оформить биографию.
Честно: сведений действительно нетВыберите ответ — и посмотрите, чему это научит модель.
Модель учится уверенно отвечать
0
Модель учится признавать незнание
0
Почему это важно. Если оценки и тесты награждают «гладкий» ответ больше, чем честное «не знаю», модель привыкает угадывать. Этот механизм разбирают исследователи в работе «Why Language Models Hallucinate» (Kalai и соавторы, 2025). Разработчики специально поощряют честность, поэтому новые модели чаще признают незнание — но не всегда. Проверка фактов остаётся за человеком.
Этапы упрощены: в реальности их больше, а примеров и оценок — миллионы. Ответы в демо написаны для иллюстрации. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.