バイト潜在トランスフォーマー：パッチはトークンよりもスケーリングが優れています。

Byte Latent Transformer: Patches Scale Better Than Tokens

December 13, 2024

著者: Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer

cs.AI

要旨

Byte Latent Transformer（BLT）を紹介します。これは、初めて、トークン化ベースのLLMの性能を大幅に向上させ、推論効率と頑健性を高めながら、規模で一致させる新しいバイトレベルのLLMアーキテクチャです。BLTは、バイトを動的にサイズ変更可能なパッチにエンコードし、これが計算の主要単位として機能します。パッチは、次のバイトのエントロピーに基づいてセグメント化され、データの複雑さが増すにつれて、より多くの計算とモデル容量が割り当てられます。我々は、8Bパラメータおよび4TトレーニングバイトまでのバイトレベルモデルのFLOP制御スケーリング研究を初めて提案します。結果は、固定された語彙を持たない生のバイトで訓練されたモデルのスケーリングの実現可能性を示しています。データが予測可能な場合、長いパッチを動的に選択することで、トレーニングと推論の効率が向上し、推論コストが固定された場合、パッチとモデルサイズの両方を同時に拡大することで、トークン化ベースのモデルよりもはるかに優れたスケーリングを示すBLTが、推論コストが固定された場合、パッチとモデルサイズの両方を同時に拡大することで、トークン化ベースのモデルよりもはるかに優れたスケーリングを示します。

English

We introduce the Byte Latent Transformer (BLT), a new byte-level LLM architecture that, for the first time, matches tokenization-based LLM performance at scale with significant improvements in inference efficiency and robustness. BLT encodes bytes into dynamically sized patches, which serve as the primary units of computation. Patches are segmented based on the entropy of the next byte, allocating more compute and model capacity where increased data complexity demands it. We present the first FLOP controlled scaling study of byte-level models up to 8B parameters and 4T training bytes. Our results demonstrate the feasibility of scaling models trained on raw bytes without a fixed vocabulary. Both training and inference efficiency improve due to dynamically selecting long patches when data is predictable, along with qualitative improvements on reasoning and long tail generalization. Overall, for fixed inference costs, BLT shows significantly better scaling than tokenization-based models, by simultaneously growing both patch and model size.