No todos los pasos de eliminación de ruido son iguales: Programación de modelos para una generación más rápida en modelos de lenguaje de difusión enmascarada

Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models

April 11, 2026

Autores: Ivan Sedykh, Nikita Sorokin, Valentin Malykh

cs.AI

Resumen

Los recientes avances en modelos de lenguaje de difusión enmascarada (MDLM) reducen la brecha de calidad con los modelos autoregresivos, pero su muestreo sigue siendo costoso porque la generación requiere múltiples pasos de desruido de secuencia completa con un Transformer grande y, a diferencia de la decodificación autoregresiva, no puede beneficiarse del almacenamiento en caché de claves-valores. En este trabajo, aprovechamos la flexibilidad del marco de difusión y estudiamos la programación de modelos, donde un MDLM más pequeño reemplaza al modelo completo en un subconjunto de pasos de desruido. En modelos entrenados con OpenWebText y LM1B, demostramos que los pasos de desruido tempranos y tardíos son sustancialmente más robustos a dicho reemplazo que los pasos intermedios, permitiendo hasta un 17% de reducción en FLOPS con solo una modesta degradación en la perplejidad generativa bajo generación incondicional y condicionada por prefijos, mientras se preserva la diversidad de muestras. Respaldamos estos hallazgos con un análisis de importancia de pasos basado en la pérdida y la divergencia KL entre modelos pequeños y grandes a lo largo de los intervalos temporales, así como con una búsqueda exhaustiva en segmentos gruesos de pasos; ambos métodos identifican consistentemente la mitad de la trayectoria de difusión como la más sensible en diferentes conjuntos de datos. Nuestros resultados sugieren que reglas de programación simples e independientes de la arquitectura pueden acelerar significativamente el muestreo de MDLM preservando en gran medida la calidad de la generación.

English

Recent advances in masked diffusion language models (MDLMs) narrow the quality gap to autoregressive LMs, but their sampling remains expensive because generation requires many full-sequence denoising passes with a large Transformer and, unlike autoregressive decoding, cannot benefit from KV caching. In this work, we exploit the flexibility of the diffusion framework and study model scheduling, where a smaller MDLM replaces the full model at a subset of denoising steps. Across models trained on OpenWebText and LM1B, we show that early and late denoising steps are substantially more robust to such replacement than middle steps, enabling up to a 17% reduction in FLOPs with only modest degradation in generative perplexity under both unconditional and prefix-conditional generation, while preserving sample diversity. We support these findings with a step-importance analysis based on loss and KL divergence between small and large models across timesteps, as well as an exhaustive search over coarse step segments, both of which identify the middle of the diffusion trajectory as most sensitive consistently across datasets. Our results suggest that simple, architecture-agnostic scheduling rules can significantly accelerate MDLM sampling while largely preserving generation quality.