Не все шаги шумоподавления равны: планирование модели для ускорения маскированных диффузионных языковых моделей

Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models

April 11, 2026

Авторы: Ivan Sedykh, Nikita Sorokin, Valentin Malykh

cs.AI

Аннотация

Последние достижения в области маскированных диффузионных языковых моделей (MDLM) сокращают разрыв в качестве с авторегрессионными языковыми моделями, однако их семплирование остается вычислительно затратным, поскольку генерация требует множества полных проходов денойзинга с помощью большой Transformer-модели и, в отличие от авторегрессионного декодирования, не может использовать преимущества кэширования ключей и значений (KV). В данной работе мы используем гибкость диффузионного подхода и исследуем планирование моделей (model scheduling), при котором меньшая MDLM заменяет полную модель на подмножестве шагов денойзинга. На моделях, обученных на OpenWebText и LM1B, мы показываем, что ранние и поздние шаги денойзинга значительно более устойчивы к такой замене, чем средние шаги. Это позволяет достичь до 17% сокращения FLOPs при лишь умеренной деградации перплексии генерации как в безусловном, так и в префикс-условном режимах, при этом сохраняя разнообразие семплов. Мы подкрепляем эти результаты анализом важности шагов на основе потерь и KL-дивергенции между маленькой и большой моделью на разных временных шагах, а также исчерпывающим поиском по грубым сегментам шагов. Оба метода последовательно для разных наборов данных идентифицируют середину диффузионной траектории как наиболее чувствительную. Наши результаты свидетельствуют о том, что простые, архитектурно-независимые правила планирования могут значительно ускорить семплирование в MDLM, в значительной степени сохраняя качество генерации.

English

Recent advances in masked diffusion language models (MDLMs) narrow the quality gap to autoregressive LMs, but their sampling remains expensive because generation requires many full-sequence denoising passes with a large Transformer and, unlike autoregressive decoding, cannot benefit from KV caching. In this work, we exploit the flexibility of the diffusion framework and study model scheduling, where a smaller MDLM replaces the full model at a subset of denoising steps. Across models trained on OpenWebText and LM1B, we show that early and late denoising steps are substantially more robust to such replacement than middle steps, enabling up to a 17% reduction in FLOPs with only modest degradation in generative perplexity under both unconditional and prefix-conditional generation, while preserving sample diversity. We support these findings with a step-importance analysis based on loss and KL divergence between small and large models across timesteps, as well as an exhaustive search over coarse step segments, both of which identify the middle of the diffusion trajectory as most sensitive consistently across datasets. Our results suggest that simple, architecture-agnostic scheduling rules can significantly accelerate MDLM sampling while largely preserving generation quality.