Nicht alle Entrauschungsschritte sind gleich: Modellplanung für schnellere maskierte Diffusionssprachmodelle
Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models
April 11, 2026
Autoren: Ivan Sedykh, Nikita Sorokin, Valentin Malykh
cs.AI
Zusammenfassung
Jüngste Fortschritte bei maskierten Diffusions-Sprachmodellen (MDLMs) verringern die Qualitätslücke zu autoregressiven Sprachmodellen, doch ihr Sampling bleibt rechenintensiv, da die Generierung viele vollständige Denoising-Durchläufe mit einem großen Transformer erfordert und – anders als autoregressives Decoding – nicht von KV-Caching profitieren kann. In dieser Arbeit nutzen wir die Flexibilität des Diffusions-Frameworks und untersuchen Model Scheduling, bei dem ein kleineres MDLM das Vollmodell in einer Teilmenge der Denoising-Schritte ersetzt. Anhand von Modellen, die auf OpenWebText und LM1B trainiert wurden, zeigen wir, dass frühe und späte Denoising-Schritte deutlich robuster gegenüber einem solchen Ersatz sind als mittlere Schritte. Dies ermöglicht eine Reduzierung der FLOPs um bis zu 17 % bei nur geringer Verschlechterung der generativen Perplexität unter sowohl unbedingter als auch präfix-konditionierter Generierung, bei gleichzeitiger Bewahrung der Probenvielfalt. Wir untermauern diese Ergebnisse mit einer Schritt-Importanz-Analyse basierend auf Verlust und KL-Divergenz zwischen kleinen und großen Modellen über Zeitschritte hinweg sowie einer erschöpfenden Suche über grobe Schrittsegmente. Beide Methoden identifizieren konsistent über Datensätze hinweg die Mitte des Diffusionspfads als am empfindlichsten. Unsere Ergebnisse legen nahe, dass einfache, architektur-agnostische Scheduling-Regeln die MDLM-Sampling erheblich beschleunigen können, wobei die Generierungsqualität weitgehend erhalten bleibt.
English
Recent advances in masked diffusion language models (MDLMs) narrow the quality gap to autoregressive LMs, but their sampling remains expensive because generation requires many full-sequence denoising passes with a large Transformer and, unlike autoregressive decoding, cannot benefit from KV caching. In this work, we exploit the flexibility of the diffusion framework and study model scheduling, where a smaller MDLM replaces the full model at a subset of denoising steps. Across models trained on OpenWebText and LM1B, we show that early and late denoising steps are substantially more robust to such replacement than middle steps, enabling up to a 17% reduction in FLOPs with only modest degradation in generative perplexity under both unconditional and prefix-conditional generation, while preserving sample diversity. We support these findings with a step-importance analysis based on loss and KL divergence between small and large models across timesteps, as well as an exhaustive search over coarse step segments, both of which identify the middle of the diffusion trajectory as most sensitive consistently across datasets. Our results suggest that simple, architecture-agnostic scheduling rules can significantly accelerate MDLM sampling while largely preserving generation quality.