Transformador Latente de Byte: Patches Escalam Melhor do que Tokens

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Autores: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Resumo

Apresentamos o Byte Latent Transformer (BLT), uma nova arquitetura de Modelo de Linguagem a nível de byte que, pela primeira vez, alcança o desempenho de modelos baseados em tokenização em escala, com melhorias significativas na eficiência e robustez da inferência. O BLT codifica bytes em patches de tamanhos dinâmicos, que funcionam como as principais unidades de computação. Os patches são segmentados com base na entropia do próximo byte, alocando mais capacidade de computação e do modelo onde a complexidade dos dados aumenta. Apresentamos o primeiro estudo de escalonamento controlado por FLOP de modelos a nível de byte com até 8B de parâmetros e 4T de bytes de treinamento. Nossos resultados demonstram a viabilidade de escalar modelos treinados em bytes brutos sem um vocabulário fixo. Tanto a eficiência de treinamento quanto a de inferência melhoram devido à seleção dinâmica de patches longos quando os dados são previsíveis, juntamente com melhorias qualitativas no raciocínio e generalização de longo alcance. No geral, para custos de inferência fixos, o BLT mostra um escalonamento significativamente melhor do que os modelos baseados em tokenização, ao mesmo tempo em que aumenta tanto o tamanho do patch quanto do modelo.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.