Разбор на токены
«·» — пробел внутри токена; под плашкой — условный номер фрагмента
Это упрощённая учебная модель разбиения. Настоящие токенизаторы (BPE) работают по словарю частых фрагментов, и счёт у разных моделей отличается. Точный подсчёт — во внешних инструментах: Tiktoken Web и GPT for Work Tokenizer.