Entkopplung der Vorteile der Subwort-Tokenisierung für das Training von Sprachmodellen mittels Byte-Level-Simulation

Zusammenfassung

Subwort-Tokenisierung ist ein wesentlicher Bestandteil moderner großer Sprachmodelle (Large Language Models, LLMs), dennoch sind ihre spezifischen Beiträge zur Trainingseffizienz und Modellleistung nach wie vor kaum verstanden. In dieser Arbeit entkoppeln wir die Effekte der Subwort-Tokenisierung, indem wir sie innerhalb einer kontrollierten Byte-Ebene-Vortrainingspipeline isolieren. Wir formulieren und testen Hypothesen in verschiedenen Dimensionen, darunter Probendurchsatz, Vokabularskalierung und der linguistische Prior von Subwortgrenzen. Durch die Simulation dieser Effekte in einer Byte-Ebene-Umgebung verbessern wir unser Verständnis dafür, warum Subwortmodelle reine Byte-Modelle übertreffen, und gewinnen Erkenntnisse zur Verbesserung des Vortrainings zukünftiger Byte-Ebene- und Subwortmodelle. Insbesondere unterstreichen unsere Experimente die entscheidende Rolle eines erhöhten Trainingsdurchsatzes und die Integration von Subwortgrenzen entweder als explizite Priors oder als induktive Verzerrungen.

English

Subword tokenization is an essential part of modern large language models (LLMs), yet its specific contributions to training efficiency and model performance remain poorly understood. In this work, we decouple the effects of subword tokenization by isolating them within a controlled byte-level pretraining pipeline. We formulate and test hypotheses across various dimensions, including sample throughput, vocabulary scaling, and the linguistic prior of subword boundaries. By simulating these effects in a byte-level setting, we refine our understanding of why subword models outperform raw byte models and offer insights to improve the pretraining of future byte-level and subword models. Specifically, our experiments highlight the critical role of increased training throughput and the integration of subword boundaries as either explicit priors or inductive biases.