逐次拡散言語モデル

要旨

拡散言語モデル（DLMs）は理論的に高い効率性を有するが、固定長デコードとキー・バリュー（KV）キャッシュとの非互換性によって制限されている。ブロック拡散はこれらの問題を緩和するが、依然として固定ブロックサイズを強制し、高コストな訓練を必要とする。本研究では、次トークン予測と次ブロック予測を統合するNext Sequence Prediction（NSP）を提案し、モデルが各ステップで生成長を適応的に決定できるようにする。長さが1に固定された場合、NSPは標準的な次トークン予測に帰着する。NSPを基盤として、事前訓練された自己回帰言語モデル（ALMs）を最小限のコストで改造可能なSequential Diffusion Language Model（SDLM）を提案する。具体的には、SDLMは固定サイズのマスクブロック内で拡散推論を行うが、モデルの信頼度に基づいて連続する部分列を動的にデコードするため、KVキャッシュとの互換性を維持し、シーケンス全体の不確実性や意味論的変動に対する頑健性を向上させる。実験結果から、SDLMはわずか350万の訓練サンプルで強力な自己回帰ベースラインを匹敵または凌駕し、Qwen-2.5比で2.1倍のスループットを達成することが示された。特に、SDLM-32Bモデルはさらに顕著な効率向上を示し、本モデリングパラダイムの強力なスケーラビリティの可能性を実証している。プロジェクトページとコードは以下に公開されている：https://github.com/OpenGVLab/SDLM

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

逐次拡散言語モデル

Sequential Diffusion Language Models

要旨

Support