固定長を超えて：拡散型大規模言語モデルのための可変長ノイズ除去

要旨

Diffusion Large Language Models（DLLMs）は、現在主流のAutoregressive Large Language Modelsに代わる強力な選択肢として台頭しつつあり、効率的な並列生成とグローバルなコンテキストモデリングを可能にしています。しかし、DLLMsの実用的な応用は、静的に事前定義された生成長が必要であるという重要なアーキテクチャ上の制約によって妨げられています。この静的な長さの割り当ては、複雑なタスクでは性能が低下する一方で、過剰な長さは計算コストを大幅に増加させ、時には性能の劣化を招くという問題のあるトレードオフを生み出します。推論フレームワークが硬直的である一方で、モデル自体が特定のタスクに最適な応答長と相関する内部信号を持っていることが観察されています。このギャップを埋めるため、我々はこれらの潜在信号を活用し、Diffusion Large Language Modelsのための動的適応的長さ拡張を可能にする新しいトレーニング不要のノイズ除去戦略であるDAEDALを導入します。DAEDALは2つのフェーズで動作します：1) ノイズ除去プロセスの前に、DAEDALは短い初期長から始め、シーケンス完了メトリックに基づいて反復的にタスクに適した粗い長さに拡張します。2) ノイズ除去プロセス中に、DAEDALはマスクトークンの挿入を通じて不十分な生成領域を特定し拡張することで動的に介入し、最終的な出力が完全に発展することを保証します。DLLMsに関する広範な実験により、DAEDALは慎重に調整された固定長ベースラインと同等、場合によってはそれを上回る性能を達成しつつ、有効なトークン比率を高めることで計算効率を向上させることが示されています。静的な長さ制約を解決することにより、DAEDALはDLLMsの新たな可能性を解き放ち、Autoregressiveモデルとの重要なギャップを埋め、より効率的で能力のある生成への道を開きます。

English

Diffusion Large Language Models (DLLMs) are emerging as a powerful alternative to the dominant Autoregressive Large Language Models, offering efficient parallel generation and capable global context modeling. However, the practical application of DLLMs is hindered by a critical architectural constraint: the need for a statically predefined generation length. This static length allocation leads to a problematic trade-off: insufficient lengths cripple performance on complex tasks, while excessive lengths incur significant computational overhead and sometimes result in performance degradation. While the inference framework is rigid, we observe that the model itself possesses internal signals that correlate with the optimal response length for a given task. To bridge this gap, we leverage these latent signals and introduce DAEDAL, a novel training-free denoising strategy that enables Dynamic Adaptive Length Expansion for Diffusion Large Language Models. DAEDAL operates in two phases: 1) Before the denoising process, DAEDAL starts from a short initial length and iteratively expands it to a coarse task-appropriate length, guided by a sequence completion metric. 2) During the denoising process, DAEDAL dynamically intervenes by pinpointing and expanding insufficient generation regions through mask token insertion, ensuring the final output is fully developed. Extensive experiments on DLLMs demonstrate that DAEDAL achieves performance comparable, and in some cases superior, to meticulously tuned fixed-length baselines, while simultaneously enhancing computational efficiency by achieving a higher effective token ratio. By resolving the static length constraint, DAEDAL unlocks new potential for DLLMs, bridging a critical gap with their Autoregressive counterparts and paving the way for more efficient and capable generation.

固定長を超えて：拡散型大規模言語モデルのための可変長ノイズ除去

Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models

要旨

Support