Non tutti i passi di denoising sono uguali: pianificazione del modello per modelli linguistici di diffusione mascherata più veloci

Abstract

I recenti progressi nei modelli linguistici di diffusione mascherata (MDLM) riducono il divario qualitativo rispetto ai modelli linguistici autoregressivi, ma il loro campionamento rimane costoso poiché la generazione richiede numerosi passaggi di denoising dell'intera sequenza con un Transformer di grandi dimensioni e, a differenza della decodifica autoregressiva, non può trarre vantaggio dalla KV cache. In questo lavoro, sfruttiamo la flessibilità del framework di diffusione e studiamo lo scheduling del modello, in cui un MDLM più piccolo sostituisce il modello completo in un sottoinsieme dei passaggi di denoising. Sui modelli addestrati su OpenWebText e LM1B, dimostriamo che i passaggi di denoising iniziali e finali sono sostanzialmente più robusti a tale sostituzione rispetto ai passaggi intermedi, consentendo una riduzione fino al 17% dei FLOP con solo un modesto peggioramento della perplexity generativa sia in generazione incondizionata che condizionata da prefisso, preservando al contempo la diversità dei campioni. Supportiamo questi risultati con un'analisi dell'importanza dei passaggi basata sulla loss e sulla divergenza KL tra modelli piccoli e grandi lungo i timestep, nonché con una ricerca esaustiva su segmenti di passaggi approssimati, entrambi i quali identificano costantemente la parte centrale della traiettoria di diffusione come la più sensibile, coerentemente attraverso i dataset. I nostri risultati suggeriscono che semplici regole di scheduling indipendenti dall'architettura possono accelerare significativamente il campionamento degli MDLM preservando in larga misura la qualità della generazione.

English

Recent advances in masked diffusion language models (MDLMs) narrow the quality gap to autoregressive LMs, but their sampling remains expensive because generation requires many full-sequence denoising passes with a large Transformer and, unlike autoregressive decoding, cannot benefit from KV caching. In this work, we exploit the flexibility of the diffusion framework and study model scheduling, where a smaller MDLM replaces the full model at a subset of denoising steps. Across models trained on OpenWebText and LM1B, we show that early and late denoising steps are substantially more robust to such replacement than middle steps, enabling up to a 17% reduction in FLOPs with only modest degradation in generative perplexity under both unconditional and prefix-conditional generation, while preserving sample diversity. We support these findings with a step-importance analysis based on loss and KL divergence between small and large models across timesteps, as well as an exhaustive search over coarse step segments, both of which identify the middle of the diffusion trajectory as most sensitive consistently across datasets. Our results suggest that simple, architecture-agnostic scheduling rules can significantly accelerate MDLM sampling while largely preserving generation quality.