Byte Latent Transformer: Patches skalieren besser als Tokens.Byte Latent Transformer: Patches Scale Better Than Tokens
Wir stellen den Byte Latent Transformer (BLT) vor, eine neue LLM-Architektur auf Byte-Ebene, die erstmals die Leistung tokenisierungsbasierter LLMs im großen Maßstab mit signifikanten Verbesserungen in Effizienz und Robustheit bei der Inferenz erreicht. BLT kodiert Bytes in dynamisch dimensionierte Patches, die als primäre Berechnungseinheiten dienen. Patches werden basierend auf der Entropie des nächsten Bytes segmentiert, wobei mehr Rechenleistung und Modellkapazität dort zugewiesen werden, wo eine erhöhte Datenkomplexität erforderlich ist. Wir präsentieren die erste FLOP-gesteuerte Skalierungsstudie von Byte-Level-Modellen mit bis zu 8 Milliarden Parametern und 4 Billionen Trainingsbytes. Unsere Ergebnisse zeigen die Machbarkeit der Skalierung von Modellen, die auf Rohbytes trainiert sind, ohne ein festes Vokabular. Sowohl die Trainings- als auch die Inferenzeffizienz verbessern sich durch die dynamische Auswahl langer Patches, wenn die Daten vorhersehbar sind, zusammen mit qualitativen Verbesserungen bei der Argumentation und der Generalisierung von langen Schwänzen. Insgesamt zeigt BLT bei festen Inferenzkosten eine deutlich bessere Skalierung als tokenisierungsbasierte Modelle, indem sowohl Patch- als auch Modellgröße gleichzeitig erhöht werden.