Словарь токенов не пишут вручную. Алгоритм BPE берёт обучающие тексты, раскладывает слова на буквы и раз за разом склеивает самую частую пару. Частые слова быстро становятся одним токеном, редкие остаются кусочками. Выберите корпус и двигайте число склеек.
Обучающие тексты: слово и сколько раз встретилось
Фиолетовые плашки — латиница, голубые — кириллица. Жёлтым подсвечена пара, которую склеят следующей.
Самые частые пары сейчас
Проверка: одна и та же фраза на двух языках
Учебная версия BPE: крошечный корпус, слова склеиваются только внутри себя, без пробелов и регистра. У настоящих токенизаторов корпус — терабайты текста, а словарь — от десятков до сотен тысяч токенов. Идея демо — из сборки «Большие языковые модели» Клуба «ИИ в образовании», адаптировано для урока 1.