ReFusion: Un Modello Linguistico di Grande Dimensione a Diffusione con Decodifica Autoregressiva Parallela
ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding
December 15, 2025
Autori: Jia-Nan Li, Jian Guan, Wei Wu, Chongxuan Li
cs.AI
Abstract
I modelli autoregressivi (ARM) sono ostacolati da un'inferenza sequenziale lenta. Sebbene i modelli di diffusione mascherati (MDM) offrano un'alternativa parallela, soffrono di svantaggi critici: elevato sovraccarico computazionale dovuto all'impossibilità di utilizzare la cache Key-Value (KV) e generazione incoerente derivante dall'apprendimento di dipendenze su uno spazio intrattabile di combinazioni di token. Per affrontare queste limitazioni, introduciamo ReFusion, un nuovo modello di diffusione mascherato che raggiunge prestazioni ed efficienza superiori elevando la decodifica parallela dal livello del token a un livello di *slot* superiore, dove ogni slot è una sottosequenza contigua di lunghezza fissa. Ciò è ottenuto attraverso un processo di decodifica iterativo "plan-and-infill" (pianifica e riempi): un passo di pianificazione basato su diffusione identifica prima un insieme di slot debolmente dipendenti, e un passo di riempimento autoregressivo decodifica poi questi slot selezionati in parallelo. Il design basato sug slot sblocca simultaneamente il riutilizzo completo della cache KV con un framework causale unificato e riduce la complessità di apprendimento dallo spazio delle combinazioni di token a uno spazio gestibile di permutazioni a livello di slot. Esperimenti estesi su sette benchmark diversi mostrano che ReFusion non solo supera nettamente i precedenti MDM con un guadagno prestazionale del 34% e una velocizzazione media di oltre 18 volte, ma colma anche il divario prestazionale con gli ARM forti mantenendo una velocizzazione media di 2.33 volte.
English
Autoregressive models (ARMs) are hindered by slow sequential inference. While masked diffusion models (MDMs) offer a parallel alternative, they suffer from critical drawbacks: high computational overhead from precluding Key-Value (KV) caching, and incoherent generation arising from learning dependencies over an intractable space of token combinations. To address these limitations, we introduce ReFusion, a novel masked diffusion model that achieves superior performance and efficiency by elevating parallel decoding from the token level to a higher slot level, where each slot is a fixed-length, contiguous sub-sequence. This is achieved through an iterative ``plan-and-infill'' decoding process: a diffusion-based planning step first identifies a set of weakly dependent slots, and an autoregressive infilling step then decodes these selected slots in parallel. The slot-based design simultaneously unlocks full KV cache reuse with a unified causal framework and reduces the learning complexity from the token combination space to a manageable slot-level permutation space. Extensive experiments on seven diverse benchmarks show that ReFusion not only overwhelmingly surpasses prior MDMs with 34% performance gains and an over 18times speedup on average, but also bridges the performance gap to strong ARMs while maintaining a 2.33times average speedup.