Transformador Latente de Bytes: Los Parches Escalan Mejor que los Tokens

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Autores: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Resumen

Presentamos el Transformador Latente de Bytes (BLT), una nueva arquitectura de Modelo de Lenguaje a nivel de bytes que, por primera vez, iguala el rendimiento de los LLM basados en tokenización a gran escala con mejoras significativas en eficiencia de inferencia y robustez. BLT codifica bytes en parches de tamaño dinámico, que sirven como las unidades principales de cálculo. Los parches se segmentan en base a la entropía del siguiente byte, asignando más capacidad de cálculo y modelo donde la complejidad de los datos aumenta. Presentamos el primer estudio de escalado controlado por FLOP de modelos a nivel de bytes de hasta 8 mil millones de parámetros y 4 billones de bytes de entrenamiento. Nuestros resultados demuestran la viabilidad de escalar modelos entrenados en bytes crudos sin un vocabulario fijo. Tanto la eficiencia de entrenamiento como la de inferencia mejoran debido a la selección dinámica de parches largos cuando los datos son predecibles, junto con mejoras cualitativas en razonamiento y generalización de cola larga. En general, para costos fijos de inferencia, BLT muestra un escalado significativamente mejor que los modelos basados en tokenización, al hacer crecer simultáneamente tanto el tamaño del parche como del modelo.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.