Отделение преимуществ субсловной токенизации для обучения языковой модели с помощью побайтовой симуляции

Аннотация

Токенизация подслов является неотъемлемой частью современных больших языковых моделей (LLM), однако ее конкретный вклад в эффективность обучения и производительность моделей остается плохо изученным. В данной работе мы разделяем эффекты токенизации подслов, изолируя их в рамках контролируемого конвейера предварительного обучения на уровне байтов. Мы формулируем и проверяем гипотезы по различным аспектам, включая пропускную способность выборок, масштабирование словаря и лингвистический априор границ подслов. Моделируя эти эффекты в байтовом окружении, мы уточняем понимание того, почему модели на подсловах превосходят модели на сырых байтах, и предлагаем идеи для улучшения предварительного обучения будущих байтовых моделей и моделей на подсловах. В частности, наши эксперименты подчеркивают критическую роль повышенной пропускной способности обучения и интеграции границ подслов в качестве явных априорных знаний или индуктивных смещений.

English

Subword tokenization is an essential part of modern large language models (LLMs), yet its specific contributions to training efficiency and model performance remain poorly understood. In this work, we decouple the effects of subword tokenization by isolating them within a controlled byte-level pretraining pipeline. We formulate and test hypotheses across various dimensions, including sample throughput, vocabulary scaling, and the linguistic prior of subword boundaries. By simulating these effects in a byte-level setting, we refine our understanding of why subword models outperform raw byte models and offer insights to improve the pretraining of future byte-level and subword models. Specifically, our experiments highlight the critical role of increased training throughput and the integration of subword boundaries as either explicit priors or inductive biases.