Snelle-decodering diffusie-taalmodellen via voortgangsbewuste betrouwbaarheidsschema's

Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules

December 2, 2025

Auteurs: Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

cs.AI

Samenvatting

Diffusie-grote-taalmodelen (dLLM's) bieden een veelbelovend alternatief voor autoregressieve modellen, maar hun praktische bruikbaarheid wordt ernstig belemmerd door trage, iteratieve sampling. Wij presenteren SchED, een trainingsvrij, model-agnostisch early-exit-algoritme dat de logit-marges over de volledige reeks aggregeert en het decoderen stopzet zodra een vloeiende, voortgangsafhankelijke betrouwbaarheidsdrempel wordt bereikt. We evalueerden SchED op twee dLLM-families (Dream en LLaDA), in basis- en instructie-afgestemde varianten, over tien benchmarks die downstream-taken omvatten, zoals meerkeuzevragen (MCQ), wiskunde, lange-vorm QA/samenvatting en vertaling. SchED levert grote, stabiele versnellingen: op instructie-afgestemde modellen behaalt het 3,8-4,0x snelheidswinst terwijl het gemiddeld 99,8-100% van de basislijnscore behoudt. Op basis-modellen levert SchED consistente snelheidswinst op met 99,1-100% prestatiebehoud, tot 2,34x onder agressievere instellingen. Met een conservatieve snelheidsmetriek die kwaliteitsverlies zwaar bestraft (QPS, γ=4), tonen we aan dat SchED robuust is en duidelijk beter presteert dan eerdere op betrouwbaarheid gebaseerde early-exit-methoden, die falen bij lange-vorm generatie. Een entropie-analyse van de tokenvoorspellingen van het model onthult dat instructie-afstemming het verval van voorspellende entropie versnelt. Door echte betrouwbaarheidsstabilisatie om te zetten in computationele besparingen, maakt SchED dLLM-decodering aanzienlijk efficiënter.

English

Diffusion large language models (dLLMs) offer a promising alternative to autoregressive models, but their practical utility is severely hampered by slow, iterative sampling. We present SchED, a training-free, model-agnostic early-exit algorithm that aggregates full-span logit margins and halts decoding once a smooth, progress-dependent confidence threshold is met. We evaluated SchED on two dLLM families (Dream and LLaDA), in base and instruction-tuned variants across ten benchmarks spanning downstream tasks including multiple-choice question answering (MCQ), math, long-form QA/summarization, and translation. SchED delivers large, stable accelerations: on instruction-tuned models, it achieves 3.8-4.0times speedups while retaining 99.8-100% of the baseline score on average. On base models, SchED yields consistent speedup gains with 99.1-100% performance retention, with up to 2.34times under more aggressive settings. Using a conservative speed metric that heavily penalizes quality loss (QPS, γ{=}4), we show that SchED is robust and clearly outperforms prior confidence-based early-exit methods, which break down on long-form generation. An entropy analysis of the model's token predictions reveals that instruction tuning speeds up the decay of predictive entropy. By turning genuine confidence stabilization into computational savings, SchED makes dLLM decoding substantially more efficient.