Токенизатор языковой модели
Как токенизатор переводит текст в идентификаторы, чем отличаются распространённые алгоритмы и когда нужен новый словарь для языка или предметной области?
Ответьте как на собеседовании
Ответьте вслух или запишите короткие тезисы. Поле необязательно — разбор откроется после попытки.