Transformateur latent par octet : les patchs s'échelonnent mieux que les jetons

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Auteurs: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Résumé

Nous présentons le Byte Latent Transformer (BLT), une nouvelle architecture de LLM au niveau des octets qui, pour la première fois, égale les performances des LLM basés sur la tokenisation à grande échelle avec des améliorations significatives en termes d'efficacité et de robustesse de l'inférence. Le BLT code les octets en patchs de tailles dynamiques, qui servent d'unités principales de calcul. Les patchs sont segmentés en fonction de l'entropie de l'octet suivant, allouant plus de puissance de calcul et de capacité de modèle là où la complexité des données augmente. Nous présentons la première étude de mise à l'échelle contrôlée par FLOP des modèles au niveau des octets jusqu'à 8 milliards de paramètres et 4 billions d'octets d'entraînement. Nos résultats démontrent la faisabilité de mettre à l'échelle des modèles entraînés sur des octets bruts sans vocabulaire fixe. L'efficacité de l'entraînement et de l'inférence s'améliore en sélectionnant dynamiquement des patchs longs lorsque les données sont prévisibles, avec des améliorations qualitatives en termes de raisonnement et de généralisation à longue traîne. Dans l'ensemble, pour des coûts d'inférence fixes, le BLT montre une mise à l'échelle significativement meilleure que les modèles basés sur la tokenisation, en faisant croître simultanément la taille des patchs et du modèle.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.