Трансформер с байтовыми латентными представлениями: фрагменты масштабируются лучше, чем токены.

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

Авторы: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

Аннотация

Мы представляем Byte Latent Transformer (BLT) - новую архитектуру байтового языковой модели (LLM), которая впервые достигает производительности на уровне моделей на основе токенизации с существенными улучшениями в эффективности вывода и устойчивости. BLT кодирует байты в динамически изменяемые патчи, которые служат основными единицами вычислений. Патчи сегментируются на основе энтропии следующего байта, выделяя больше вычислительных ресурсов и емкости модели там, где увеличение сложности данных требуется. Мы представляем первое исследование масштабирования моделей на уровне байтов с контролем FLOP до 8 миллиардов параметров и 4 триллионов обучающих байтов. Наши результаты демонстрируют возможность масштабирования моделей, обученных на сырых байтах без фиксированного словаря. Как обучение, так и эффективность вывода улучшаются благодаря динамическому выбору длинных патчей, когда данные предсказуемы, а также качественным улучшениям в рассуждениях и обобщении на длинные хвосты. В целом, при фиксированных затратах на вывод, BLT показывает значительно лучшее масштабирование по сравнению с моделями на основе токенизации, одновременно увеличивая как размер патча, так и модели.

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.