Voorbij Vast: Denoising met Variabele Lengte voor Diffusie Large Language Modellen

Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models

August 1, 2025

Auteurs: Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jiaqi Wang, Dahua Lin

cs.AI

Samenvatting

Diffusion Large Language Models (DLLMs) doen zich gelden als een krachtig alternatief voor de dominante Autoregressive Large Language Models, waarbij ze efficiënte parallelle generatie en effectieve modellering van globale context bieden. De praktische toepassing van DLLMs wordt echter belemmerd door een kritieke architectonische beperking: de noodzaak van een statisch vooraf gedefinieerde generatielengte. Deze statische lengtetoewijzing leidt tot een problematische afweging: onvoldoende lengtes ondermijnen de prestaties bij complexe taken, terwijl overmatige lengtes aanzienlijke rekenkosten met zich meebrengen en soms tot prestatieverlies leiden. Hoewel het inferentiekader rigide is, observeren we dat het model zelf interne signalen bevat die correleren met de optimale responslengte voor een bepaalde taak. Om deze kloof te overbruggen, benutten we deze latente signalen en introduceren we DAEDAL, een nieuwe trainingsvrije denoisingstrategie die Dynamische Adaptieve Lengte-uitbreiding mogelijk maakt voor Diffusion Large Language Models. DAEDAL werkt in twee fasen: 1) Voor het denoisingproces begint DAEDAL met een korte initiële lengte en breidt deze iteratief uit tot een ruwe, taakgeschikte lengte, geleid door een metriek voor sequentievoltooiing. 2) Tijdens het denoisingproces grijpt DAEDAL dynamisch in door onvoldoende gegenereerde regio's te identificeren en uit te breiden via de invoeging van maskertokens, waardoor de uiteindelijke uitvoer volledig ontwikkeld is. Uitgebreide experimenten met DLLMs tonen aan dat DAEDAL prestaties bereikt die vergelijkbaar zijn, en in sommige gevallen superieur aan, zorgvuldig afgestelde vaste-lengte-baselines, terwijl tegelijkertijd de rekenkundige efficiëntie wordt verbeterd door een hogere effectieve tokenratio te behalen. Door de statische lengtebeperking op te lossen, ontsluit DAEDAL nieuw potentieel voor DLLMs, overbrugt het een kritieke kloof met hun Autoregressive tegenhangers en opent het de weg naar efficiëntere en capabelere generatie.

English

Diffusion Large Language Models (DLLMs) are emerging as a powerful alternative to the dominant Autoregressive Large Language Models, offering efficient parallel generation and capable global context modeling. However, the practical application of DLLMs is hindered by a critical architectural constraint: the need for a statically predefined generation length. This static length allocation leads to a problematic trade-off: insufficient lengths cripple performance on complex tasks, while excessive lengths incur significant computational overhead and sometimes result in performance degradation. While the inference framework is rigid, we observe that the model itself possesses internal signals that correlate with the optimal response length for a given task. To bridge this gap, we leverage these latent signals and introduce DAEDAL, a novel training-free denoising strategy that enables Dynamic Adaptive Length Expansion for Diffusion Large Language Models. DAEDAL operates in two phases: 1) Before the denoising process, DAEDAL starts from a short initial length and iteratively expands it to a coarse task-appropriate length, guided by a sequence completion metric. 2) During the denoising process, DAEDAL dynamically intervenes by pinpointing and expanding insufficient generation regions through mask token insertion, ensuring the final output is fully developed. Extensive experiments on DLLMs demonstrate that DAEDAL achieves performance comparable, and in some cases superior, to meticulously tuned fixed-length baselines, while simultaneously enhancing computational efficiency by achieving a higher effective token ratio. By resolving the static length constraint, DAEDAL unlocks new potential for DLLMs, bridging a critical gap with their Autoregressive counterparts and paving the way for more efficient and capable generation.