MambaByte: トークンフリー選択的状態空間モデル

要旨

トークンフリーの言語モデルは、生のバイト列から直接学習し、サブワードトークン化のバイアスを除去します。しかし、バイト列で動作することは、大幅に長いシーケンスをもたらし、標準的な自己回帰型Transformerはそのような設定ではスケーリングが不十分です。私たちは、Mamba状態空間モデルのトークンフリー適応版であるMambaByteを実験し、バイトシーケンスで自己回帰的に学習させました。実験結果は、MambaByteが他のバイトレベルモデルと比較して計算効率が高いことを示しています。また、MambaByteは最先端のサブワードTransformerと競合し、それを上回ることもわかりました。さらに、長さに対する線形スケーリングのおかげで、MambaByteはTransformerと比較して高速な推論を実現します。私たちの研究結果は、MambaByteがトークンフリーの言語モデリングを可能にするための有効性を確立しています。

English

Token-free language models learn directly from raw bytes and remove the bias of subword tokenization. Operating on bytes, however, results in significantly longer sequences, and standard autoregressive Transformers scale poorly in such settings. We experiment with MambaByte, a token-free adaptation of the Mamba state space model, trained autoregressively on byte sequences. Our experiments indicate the computational efficiency of MambaByte compared to other byte-level models. We also find MambaByte to be competitive with and even outperform state-of-the-art subword Transformers. Furthermore, owing to linear scaling in length, MambaByte benefits from fast inference compared to Transformers. Our findings establish the viability of MambaByte in enabling token-free language modeling.

MambaByte: トークンフリー選択的状態空間モデル

MambaByte: Token-free Selective State Space Model

要旨

Support