ByteFlow: トークナイザーを用いない適応的バイト圧縮による言語モデリング

要旨

現代の言語モデルは依然として固定化された事前定義のサブワードトークン化に依存している。一度トークナイザが学習されると、言語モデルはこの固定された粒度レベルでしか動作できず、強力な推論モデルであっても脆く直感に反する振る舞いを引き起こすことが多い。本論文では、トークナイザを完全に排除し、代わりにモデルが生のバイトストリームを意味的に有意義な単位へと自己分割することを可能にする新しい階層的アーキテクチャ、ByteFlow Netを提案する。ByteFlow Netは潜在表現の符号化率に基づく圧縮駆動型セグメンテーションを実行し、Top-K選択による静的な計算グラフを保ちつつ適応的な境界を生成する。人手設計の帰納バイアスに依存した脆いヒューリスティクスを用いる従来の自己トークン化手法とは異なり、ByteFlow Netは内部表現の粒度を入力自体に適応させる。実験により、この圧縮ベースのチャンキング戦略が大幅な性能向上をもたらすことが示され、ByteFlow NetはBPEベースのTransformerおよび従来のバイトレベルアーキテクチャを両方とも上回った。これらの結果は、エンドツーエンドのトークナイザ不要モデリングが単に実現可能であるだけでなく、より効果的であることを示唆しており、より適応的で情報に根ざした言語モデルへの道を開くものである。

English

Modern language models still rely on fixed, pre-defined subword tokenizations. Once a tokenizer is trained, the LM can only operate at this fixed level of granularity, which often leads to brittle and counterintuitive behaviors even in otherwise strong reasoning models. We introduce ByteFlow Net, a new hierarchical architecture that removes tokenizers entirely and instead enables models to learn their own segmentation of raw byte streams into semantically meaningful units. ByteFlow Net performs compression-driven segmentation based on the coding rate of latent representations, yielding adaptive boundaries while preserving a static computation graph via Top-K selection. Unlike prior self-tokenizing methods that depend on brittle heuristics with human-designed inductive biases, ByteFlow Net adapts its internal representation granularity to the input itself. Experiments demonstrate that this compression-based chunking strategy yields substantial performance gains, with ByteFlow Net outperforming both BPE-based Transformers and previous byte-level architectures. These results suggest that end-to-end, tokenizer-free modeling is not only feasible but also more effective, opening a path toward more adaptive and information-grounded language models.

ByteFlow: トークナイザーを用いない適応的バイト圧縮による言語モデリング

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer

要旨

Support