バイトからアイデアへ：自己回帰型U-Netを用いた言語モデリング

要旨

トークン化は入力テキストに固定された粒度を課し、言語モデルがデータを処理する方法や予測する未来の範囲を固定化します。Byte Pair Encoding（BPE）や類似の手法は、テキストを一度分割し、静的な語彙を構築し、モデルをその選択に縛り付けます。私たちはこの硬直性を緩和するため、自己回帰型U-Netを導入し、モデルが自身のトークンを埋め込みながら学習するようにしました。このネットワークは生のバイトを読み取り、それらを単語にプールし、次に単語のペア、そして最大4単語までプールすることで、シーケンスのマルチスケールな視点を獲得します。より深い段階では、モデルはさらに先の未来を予測する必要があります——次のバイトではなく、次の数単語を予測するため、深い段階では広範な意味的パターンに焦点を当て、初期の段階では細かい詳細を処理します。事前学習の計算を慎重に調整・制御すると、浅い階層は強力なBPEベースラインに匹敵し、深い階層は有望な傾向を示します。トークン化がモデル内部に存在するため、同じシステムが文字レベルのタスクを処理し、低リソース言語間で知識を伝達することが可能になります。

English

Tokenization imposes a fixed granularity on the input text, freezing how a language model operates on data and how far in the future it predicts. Byte Pair Encoding (BPE) and similar schemes split text once, build a static vocabulary, and leave the model stuck with that choice. We relax this rigidity by introducing an autoregressive U-Net that learns to embed its own tokens as it trains. The network reads raw bytes, pools them into words, then pairs of words, then up to 4 words, giving it a multi-scale view of the sequence. At deeper stages, the model must predict further into the future -- anticipating the next few words rather than the next byte -- so deeper stages focus on broader semantic patterns while earlier stages handle fine details. When carefully tuning and controlling pretraining compute, shallow hierarchies tie strong BPE baselines, and deeper hierarchies have a promising trend. Because tokenization now lives inside the model, the same system can handle character-level tasks and carry knowledge across low-resource languages.

バイトからアイデアへ：自己回帰型U-Netを用いた言語モデリング

From Bytes to Ideas: Language Modeling with Autoregressive U-Nets

要旨

Support