階層的言語モデルを用いた動的マルチバイト予測

要旨

バイトレベルの階層的言語モデル（LM）は、近年、サブワードトークン化を用いる一般的なモデルに代わる堅牢な選択肢として登場した。しかし、1バイトずつ生成することは、依然として推論速度のボトルネックとなっている。この問題に対処するため、我々はマルチバイト予測（MBP）を導入する。これは複数のバイトを並列に生成することで、追加パラメータなしに、性能への影響を最小限に抑えつつ推論を高速化する。MBPは、広く用いられているマルチトークン予測（MTP）パラダイムに基づきつつ、2つの重要な革新を備えている。第一に、階層的LMの潜在トークン、すなわちセグメントに整合する可変長の予測ウィンドウを導入する。第二に、因果性を損なわずに並列バイト予測を可能にする新しいアテンションマスキング方式を実装する。我々は、マルチバイト予測が、指示追従、質問応答、要約、機械翻訳といった複数の生成タスクにわたってパレート最適なトレードオフを達成し、性能と推論スループットの間の最良のトレードオフを実現することを示す。

English

Byte-level hierarchical language models (LMs) have recently emerged as a robust alternative to their popular counterparts that use subword tokenization. However, generating one byte at a time remains a bottleneck for inference speed. To address this, we introduce multi-byte prediction (MBP), which generates multiple bytes in parallel, speeding up inference with minimal performance impact and no additional parameters. MBP builds on the popular multi-token prediction (MTP) paradigm with two crucial innovations. First, we introduce a variable-length prediction window that aligns with the latent tokens, or segments, of a hierarchical LM. Second, we implement a novel attention-masking scheme that enables parallel byte prediction without violating causality. We show that multi-byte prediction strikes a Pareto-optimal trade-off across multiple generative tasks, instruction following, question answering, summarization, and machine translation, achieving the best trade-off between performance and inference throughput.