Niet Alle Denoisingstappen Zijn Gelijk: Modelscheduling voor Snellere Gemaskeerde Diffusie Taalmodellen
Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models
April 11, 2026
Auteurs: Ivan Sedykh, Nikita Sorokin, Valentin Malykh
cs.AI
Samenvatting
Recente vooruitgang in gemaskeerde diffusie-taalmmodellen (MDLM's) verkleint het kwaliteitsverschil met autoregressieve LM's, maar hun sampling blijft duur omdat generatie vele volledige denoisingspassen vereist met een grote Transformer en, in tegenstelling tot autoregressieve decodering, geen voordeel kan halen uit KV-caching. In dit werk benutten we de flexibiliteit van het diffusieraamwerk en bestuderen we modelscheduling, waarbij een kleiner MDLM het volledige model vervangt bij een subset van denoisingsstappen. Over modellen getraind op OpenWebText en LM1B tonen we aan dat vroege en late denoisingsstappen aanzienlijk robuuster zijn voor een dergelijke vervanging dan middelste stappen, wat een reductie van tot 17% in FLOPs mogelijk maakt met slechts bescheiden verslechtering van de generatieve perplexiteit onder zowel onvoorwaardelijke als prefix-voorwaardelijke generatie, terwijl de steekproefdiversiteit behouden blijft. Wij ondersteunen deze bevindingen met een stap-belangrijkheidsanalyse gebaseerd op verlies en KL-divergentie tussen kleine en grote modellen over tijdstappen, evenals een exhaustieve zoektocht over grove stapsegmenten, die beide het midden van de diffusietrajectorie consequent over datasets identificeren als het meest gevoelig. Onze resultaten suggereren dat eenvoudige, architectuuronafhankelijke scheduleregels de MDLM-sampling aanzienlijk kunnen versnellen terwijl de generatiekwaliteit grotendeels behouden blijft.
English
Recent advances in masked diffusion language models (MDLMs) narrow the quality gap to autoregressive LMs, but their sampling remains expensive because generation requires many full-sequence denoising passes with a large Transformer and, unlike autoregressive decoding, cannot benefit from KV caching. In this work, we exploit the flexibility of the diffusion framework and study model scheduling, where a smaller MDLM replaces the full model at a subset of denoising steps. Across models trained on OpenWebText and LM1B, we show that early and late denoising steps are substantially more robust to such replacement than middle steps, enabling up to a 17% reduction in FLOPs with only modest degradation in generative perplexity under both unconditional and prefix-conditional generation, while preserving sample diversity. We support these findings with a step-importance analysis based on loss and KL divergence between small and large models across timesteps, as well as an exhaustive search over coarse step segments, both of which identify the middle of the diffusion trajectory as most sensitive consistently across datasets. Our results suggest that simple, architecture-agnostic scheduling rules can significantly accelerate MDLM sampling while largely preserving generation quality.