Откуда модель знает язык: сбор и очистка данных

Буква P в GPT — Pre-trained: до знакомства с вами модель «прочитала» огромный массив открытых текстов. Программа-краулер обходит страницы, фильтры выбрасывают дубли и мусор, убирают персональные данные — остаётся обучающий корпус. Нажмите «Пуск».

1 · Очередь страниц0

2 · Фильтры

Ожидание запуска

Дубликаты удалены 0
Мусор и реклама удалены 0
Персональные данные вычищены 0

3 · Обучающий корпус0

Языки в собранном корпусе

Что из этого следует для работы

Английских текстов в вебе больше — отсюда «английский акцент» моделей и более дорогие токены для кириллицы (блок 5).
Корпус собран на определённую дату: без подключённого поиска модель не знает свежих событий.
Фильтры неидеальны: в корпус попадают ошибки, устаревшие и спорные тексты — поэтому факты в ответе проверяет человек.

Симуляция: источники и доли языков условные. Реальные корпуса — сотни миллиардов страниц; соотношение языков в открытом вебе можно посмотреть в статистике Common Crawl. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.