Au-delà du fixe : Dénonçage à longueur variable pour les modèles de langage de grande taille basés sur la diffusion

Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models

August 1, 2025

papers.authors: Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jiaqi Wang, Dahua Lin

cs.AI

papers.abstract

Les modèles de langage à grande échelle par diffusion (DLLMs) émergent comme une alternative puissante aux modèles de langage à grande échelle autorégressifs dominants, offrant une génération parallèle efficace et une modélisation globale du contexte. Cependant, l'application pratique des DLLMs est entravée par une contrainte architecturale critique : la nécessité d'une longueur de génération prédéfinie de manière statique. Cette allocation de longueur fixe entraîne un compromis problématique : des longueurs insuffisantes nuisent aux performances sur des tâches complexes, tandis que des longueurs excessives engendrent une surcharge computationnelle importante et parfois une dégradation des performances. Bien que le cadre d'inférence soit rigide, nous observons que le modèle lui-même possède des signaux internes corrélés à la longueur optimale de réponse pour une tâche donnée. Pour combler cette lacune, nous exploitons ces signaux latents et introduisons DAEDAL, une nouvelle stratégie de débruitage sans apprentissage qui permet une expansion dynamique et adaptative de la longueur pour les DLLMs. DAEDAL opère en deux phases : 1) Avant le processus de débruitage, DAEDAL commence avec une courte longueur initiale et l'étend itérativement à une longueur approximative adaptée à la tâche, guidé par une métrique de complétion de séquence. 2) Pendant le processus de débruitage, DAEDAL intervient dynamiquement en identifiant et en étendant les régions de génération insuffisantes par l'insertion de tokens masqués, garantissant que la sortie finale est pleinement développée. Des expériences approfondies sur les DLLMs démontrent que DAEDAL atteint des performances comparables, et dans certains cas supérieures, à des références à longueur fixe soigneusement ajustées, tout en améliorant l'efficacité computationnelle grâce à un ratio de tokens effectif plus élevé. En résolvant la contrainte de longueur statique, DAEDAL débloque un nouveau potentiel pour les DLLMs, comblant une lacune critique avec leurs homologues autorégressifs et ouvrant la voie à une génération plus efficace et performante.

English

Diffusion Large Language Models (DLLMs) are emerging as a powerful alternative to the dominant Autoregressive Large Language Models, offering efficient parallel generation and capable global context modeling. However, the practical application of DLLMs is hindered by a critical architectural constraint: the need for a statically predefined generation length. This static length allocation leads to a problematic trade-off: insufficient lengths cripple performance on complex tasks, while excessive lengths incur significant computational overhead and sometimes result in performance degradation. While the inference framework is rigid, we observe that the model itself possesses internal signals that correlate with the optimal response length for a given task. To bridge this gap, we leverage these latent signals and introduce DAEDAL, a novel training-free denoising strategy that enables Dynamic Adaptive Length Expansion for Diffusion Large Language Models. DAEDAL operates in two phases: 1) Before the denoising process, DAEDAL starts from a short initial length and iteratively expands it to a coarse task-appropriate length, guided by a sequence completion metric. 2) During the denoising process, DAEDAL dynamically intervenes by pinpointing and expanding insufficient generation regions through mask token insertion, ensuring the final output is fully developed. Extensive experiments on DLLMs demonstrate that DAEDAL achieves performance comparable, and in some cases superior, to meticulously tuned fixed-length baselines, while simultaneously enhancing computational efficiency by achieving a higher effective token ratio. By resolving the static length constraint, DAEDAL unlocks new potential for DLLMs, bridging a critical gap with their Autoregressive counterparts and paving the way for more efficient and capable generation.