ニューラル圧縮されたテキストを用いたLLMの学習

Training LLMs over Neurally Compressed Text

April 4, 2024

著者: Brian Lester, Jaehoon Lee, Alex Alemi, Jeffrey Pennington, Adam Roberts, Jascha Sohl-Dickstein, Noah Constant

cs.AI

要旨

本論文では、高度に圧縮されたテキスト上で大規模言語モデル（LLM）を訓練するというアイデアを探求します。標準的なサブワードトークナイザはテキストをわずかに圧縮しますが、ニューラルテキスト圧縮器ははるかに高い圧縮率を達成できます。もしニューラル圧縮されたテキスト上で直接LLMを訓練することが可能であれば、訓練とサービスの効率性が向上し、長いテキストスパンの扱いも容易になるという利点があります。この目標に対する主な障害は、強力な圧縮は学習に適さない不透明な出力を生成しがちであることです。特に、算術符号化によって単純に圧縮されたテキストはLLMによって容易に学習できないことがわかりました。これを克服するために、Equal-Info Windowsという新しい圧縮技術を提案します。この技術では、テキストをそれぞれ同じビット長に圧縮されるブロックに分割します。この方法を用いて、ニューラル圧縮されたテキスト上での効果的な学習を実証し、スケールに応じて改善され、パープレキシティと推論速度のベンチマークでバイトレベルのベースラインを大きく上回ることを示します。私たちの方法は、同じパラメータ数で訓練されたモデルに対してサブワードトークナイザよりもパープレキシティが劣りますが、シーケンス長が短いという利点があります。短いシーケンス長は、オートリグレッシブ生成ステップが少なくて済み、レイテンシを削減します。最後に、学習可能性に寄与する特性について詳細な分析を提供し、高圧縮トークナイザの性能をさらに向上させるための具体的な提案を行います。

English

In this paper, we explore the idea of training large language models (LLMs) over highly compressed text. While standard subword tokenizers compress text by a small factor, neural text compressors can achieve much higher rates of compression. If it were possible to train LLMs directly over neurally compressed text, this would confer advantages in training and serving efficiency, as well as easier handling of long text spans. The main obstacle to this goal is that strong compression tends to produce opaque outputs that are not well-suited for learning. In particular, we find that text na\"ively compressed via Arithmetic Coding is not readily learnable by LLMs. To overcome this, we propose Equal-Info Windows, a novel compression technique whereby text is segmented into blocks that each compress to the same bit length. Using this method, we demonstrate effective learning over neurally compressed text that improves with scale, and outperforms byte-level baselines by a wide margin on perplexity and inference speed benchmarks. While our method delivers worse perplexity than subword tokenizers for models trained with the same parameter count, it has the benefit of shorter sequence lengths. Shorter sequence lengths require fewer autoregressive generation steps, and reduce latency. Finally, we provide extensive analysis of the properties that contribute to learnability, and offer concrete suggestions for how to further improve the performance of high-compression tokenizers.