LoPA: 先読み並列デコードによる大規模言語モデル推論のスケーリング

要旨

拡散型大規模言語モデル（dLLM）は高速推論において大きな可能性を示している。しかし、現在の信頼度駆動型デコード戦略は並列性の制約を受けており、一般的に1フォワードパスあたり1〜3トークン（TPF）しか達成できない。本研究では、dLLM推論時の並列性の度合いがトークン充填順序（TFO）に強く影響されることを明らかにする。そして、優れたTFOを見出すことで推論を加速する、学習不要のプラグアンドプレイアルゴリズムであるLookahead並列デコード（LoPA）を提案する。LoPAは並列ブランチを通じて異なる候補TFOを同時に探索し、ブランチ信頼度に基づいて将来の並列性ポテンシャルが最も高い順序を選択する。LoPAを最先端のD2Fモデルに適用した結果、デコード効率が大幅に向上した。特に、GSM8KデータセットにおいてD2F-DreamのTPFを10.1に向上させながら、Dreamベースラインを上回る性能を維持することに成功した。さらに、この前例のない並列度を実現するため、ブランチ並列性（BP）を特徴とする専用のマルチデバイス推論システムを開発し、マルチGPU環境で単一サンプルあたり1073.9トークン/秒のスループットを達成した。コードはhttps://github.com/zhijie-group/LoPA で公開されている。

English

Diffusion Large Language Models (dLLMs) have demonstrated significant potential for high-speed inference. However, current confidence-driven decoding strategies are constrained by limited parallelism, typically achieving only 1--3 tokens per forward pass (TPF). In this work, we identify that the degree of parallelism during dLLM inference is highly sensitive to the Token Filling Order (TFO). Then, we introduce Lookahead PArallel Decoding LoPA, a training-free, plug-and-play algorithm, to identify a superior TFO and hence accelerate inference. LoPA concurrently explores distinct candidate TFOs via parallel branches, and selects the one with the highest potential for future parallelism based on branch confidence. We apply LoPA to the state-of-the-art D2F model and observe a substantial enhancement in decoding efficiency. Notably, LoPA increases the TPF of D2F-Dream to 10.1 on the GSM8K while maintaining performance superior to the Dream baseline. Furthermore, to facilitate this unprecedented degree of parallelism, we develop a specialized multi-device inference system featuring Branch Parallelism (BP), which achieves a single-sample throughput of 1073.9 tokens per second under multi-GPU deployment. The code is available at https://github.com/zhijie-group/LoPA.

LoPA: 先読み並列デコードによる大規模言語モデル推論のスケーリング

LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding

要旨

Support