Schnell dekodierende Diffusionssprachmodelle durch fortschrittsbewusste Konfidenz-Zeitpläne

Fast-Decoding Diffusion Language Models via Progress-Aware Confidence Schedules

December 2, 2025

papers.authors: Amr Mohamed, Yang Zhang, Michalis Vazirgiannis, Guokan Shang

cs.AI

papers.abstract

Diffusionsbasierte große Sprachmodelle (dLLMs) bieten eine vielversprechende Alternative zu autoregressiven Modellen, doch ihr praktischer Nutzen wird durch langsames, iteratives Sampling erheblich beeinträchtigt. Wir stellen SchED vor, einen trainingsfreien, modellagnostischen Early-Exit-Algorithmus, der Logit-Margins über die gesamte Spanne aggregiert und die Dekodierung anhält, sobald ein glatter, fortschrittsabhängiger Konfidenzschwellenwert erreicht ist. Wir evaluierten SchED an zwei dLLM-Familien (Dream und LLaDA) in Basis- und Instruction-Tuned-Varianten über zehn Benchmarks hinweg, die Downstream-Aufgaben wie Multiple-Choice-Fragebeantwortung (MCQ), Mathematik, Langform-QA/Zusammenfassung und Übersetzung abdecken. SchED erzielt große, stabile Beschleunigungen: Bei instruction-getunten Modellen erreicht es eine 3,8- bis 4,0-fache Beschleunigung bei gleichzeitigem Erhalt von durchschnittlich 99,8–100 % der Baseline-Punktzahl. Bei Basismodellen erbringt SchED konsistenten Beschleunigungsgewinn bei 99,1–100 % Leistungserhalt, mit bis zu 2,34-facher Beschleunigung unter aggressiveren Einstellungen. Unter Verwendung einer konservativen Geschwindigkeitsmetrik, die Qualitätseinbußen stark bestraft (QPS, γ=4), zeigen wir, dass SchED robust ist und frühere konfidenzbasierte Early-Exit-Methoden klar übertrifft, die bei Langform-Generierung versagen. Eine Entropieanalyse der Token-Vorhersagen des Modells zeigt, dass Instruction-Tuning den Abfall der prädiktiven Entropie beschleunigt. Indem SchED echte Konfidenzstabilisierung in Recheneinsparungen umwandelt, macht es die dLLM-Dekodierung wesentlich effizienter.

English

Diffusion large language models (dLLMs) offer a promising alternative to autoregressive models, but their practical utility is severely hampered by slow, iterative sampling. We present SchED, a training-free, model-agnostic early-exit algorithm that aggregates full-span logit margins and halts decoding once a smooth, progress-dependent confidence threshold is met. We evaluated SchED on two dLLM families (Dream and LLaDA), in base and instruction-tuned variants across ten benchmarks spanning downstream tasks including multiple-choice question answering (MCQ), math, long-form QA/summarization, and translation. SchED delivers large, stable accelerations: on instruction-tuned models, it achieves 3.8-4.0times speedups while retaining 99.8-100% of the baseline score on average. On base models, SchED yields consistent speedup gains with 99.1-100% performance retention, with up to 2.34times under more aggressive settings. Using a conservative speed metric that heavily penalizes quality loss (QPS, γ{=}4), we show that SchED is robust and clearly outperforms prior confidence-based early-exit methods, which break down on long-form generation. An entropy analysis of the model's token predictions reveals that instruction tuning speeds up the decay of predictive entropy. By turning genuine confidence stabilization into computational savings, SchED makes dLLM decoding substantially more efficient.