Byte Latent Transformer: Patches skalieren besser als Tokens.

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Autoren: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Zusammenfassung

Wir stellen den Byte Latent Transformer (BLT) vor, eine neue LLM-Architektur auf Byte-Ebene, die erstmals die Leistung tokenisierungsbasierter LLMs im großen Maßstab mit signifikanten Verbesserungen in Effizienz und Robustheit bei der Inferenz erreicht. BLT kodiert Bytes in dynamisch dimensionierte Patches, die als primäre Berechnungseinheiten dienen. Patches werden basierend auf der Entropie des nächsten Bytes segmentiert, wobei mehr Rechenleistung und Modellkapazität dort zugewiesen werden, wo eine erhöhte Datenkomplexität erforderlich ist. Wir präsentieren die erste FLOP-gesteuerte Skalierungsstudie von Byte-Level-Modellen mit bis zu 8 Milliarden Parametern und 4 Billionen Trainingsbytes. Unsere Ergebnisse zeigen die Machbarkeit der Skalierung von Modellen, die auf Rohbytes trainiert sind, ohne ein festes Vokabular. Sowohl die Trainings- als auch die Inferenzeffizienz verbessern sich durch die dynamische Auswahl langer Patches, wenn die Daten vorhersehbar sind, zusammen mit qualitativen Verbesserungen bei der Argumentation und der Generalisierung von langen Schwänzen. Insgesamt zeigt BLT bei festen Inferenzkosten eine deutlich bessere Skalierung als tokenisierungsbasierte Modelle, indem sowohl Patch- als auch Modellgröße gleichzeitig erhöht werden.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.