Transformateur latent par octet : les patchs s'échelonnent mieux que les jetonsByte Latent Transformer: Patches Scale Better Than Tokens
Nous présentons le Byte Latent Transformer (BLT), une nouvelle architecture de LLM au niveau des octets qui, pour la première fois, égale les performances des LLM basés sur la tokenisation à grande échelle avec des améliorations significatives en termes d'efficacité et de robustesse de l'inférence. Le BLT code les octets en patchs de tailles dynamiques, qui servent d'unités principales de calcul. Les patchs sont segmentés en fonction de l'entropie de l'octet suivant, allouant plus de puissance de calcul et de capacité de modèle là où la complexité des données augmente. Nous présentons la première étude de mise à l'échelle contrôlée par FLOP des modèles au niveau des octets jusqu'à 8 milliards de paramètres et 4 billions d'octets d'entraînement. Nos résultats démontrent la faisabilité de mettre à l'échelle des modèles entraînés sur des octets bruts sans vocabulaire fixe. L'efficacité de l'entraînement et de l'inférence s'améliore en sélectionnant dynamiquement des patchs longs lorsque les données sont prévisibles, avec des améliorations qualitatives en termes de raisonnement et de généralisation à longue traîne. Dans l'ensemble, pour des coûts d'inférence fixes, le BLT montre une mise à l'échelle significativement meilleure que les modèles basés sur la tokenisation, en faisant croître simultanément la taille des patchs et du modèle.