ML Mentor
К понятиям
Обработка текста и LLM

Токенизация

Преобразование текста в последовательность идентификаторов с компромиссом между словарём и длиной контекста.

BPEWordPieceUnigramSentencePiecesubword tokenization

Показаны только вручную проверенные связи. Частотность появится после полного покрытия раздела. Проверка от 2026-07-16.

Начать с вопросаСмотреть все формулировки

Что нужно уметь

  • Сравнить BPE, WordPiece и Unigram
  • Объяснить влияние домена и языка на дробление текста

Как эту тему спрашивают

Канонические типы вопроса объединяют разные формулировки, но каждая ссылка ведёт на конкретный вопрос из интервью.

Что должно быть в ответе

  • Нормализация и границы токенов
  • Подсловные алгоритмы
  • Длина последовательности и доменный словарь