ReFusion: Ein diffuses Großsprachmodell mit parallelem autoregressivem Decodieren

ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding

December 15, 2025

papers.authors: Jia-Nan Li, Jian Guan, Wei Wu, Chongxuan Li

cs.AI

papers.abstract

Autoregressive Modelle (ARMs) werden durch langsame sequentielle Inferenz behindert. Während maskierte Diffusionsmodelle (MDMs) eine parallele Alternative bieten, leiden sie unter entscheidenden Nachteilen: hohem Rechenaufwand durch den Ausschluss von Key-Value (KV)-Caching und inkohärenter Generierung aufgrund des Lernens von Abhängigkeiten über einem nicht handhabbaren Raum von Token-Kombinationen. Um diese Einschränkungen zu adressieren, führen wir ReFusion ein, ein neuartiges maskiertes Diffusionsmodell, das durch die Erhöhung der parallelen Dekodierung von der Token-Ebene auf eine höhere Slot-Ebene überlegene Leistung und Effizienz erreicht, wobei jeder Slot eine feste Länge aufweisende, zusammenhängende Teilsequenz ist. Dies wird durch einen iterativen „Plan-and-Infill“-Dekodierungsprozess erreicht: Ein diffusionsbasierter Planungsschritt identifiziert zunächst eine Menge schwach abhängiger Slots, und ein autoregressiver Infilling-Schritt dekodiert diese ausgewählten Slots dann parallel. Das slotbasierte Design ermöglicht gleichzeitig die vollständige Wiederverwendung des KV-Caches mit einem einheitlichen kausalen Framework und reduziert die Lernkomplexität vom Raum der Token-Kombinationen auf einen handhabbaren Raum von Slot-Permutationen. Umfangreiche Experimente auf sieben verschiedenen Benchmarks zeigen, dass ReFusion nicht nur frühere MDMs mit durchschnittlich 34 % Leistungssteigerung und einer mehr als 18-fachen Beschleunigung deutlich übertrifft, sondern auch die Leistungslücke zu starken ARMs schließt und dabei eine durchschnittliche 2,33-fache Beschleunigung beibehält.

English

Autoregressive models (ARMs) are hindered by slow sequential inference. While masked diffusion models (MDMs) offer a parallel alternative, they suffer from critical drawbacks: high computational overhead from precluding Key-Value (KV) caching, and incoherent generation arising from learning dependencies over an intractable space of token combinations. To address these limitations, we introduce ReFusion, a novel masked diffusion model that achieves superior performance and efficiency by elevating parallel decoding from the token level to a higher slot level, where each slot is a fixed-length, contiguous sub-sequence. This is achieved through an iterative ``plan-and-infill'' decoding process: a diffusion-based planning step first identifies a set of weakly dependent slots, and an autoregressive infilling step then decodes these selected slots in parallel. The slot-based design simultaneously unlocks full KV cache reuse with a unified causal framework and reduces the learning complexity from the token combination space to a manageable slot-level permutation space. Extensive experiments on seven diverse benchmarks show that ReFusion not only overwhelmingly surpasses prior MDMs with 34% performance gains and an over 18times speedup on average, but also bridges the performance gap to strong ARMs while maintaining a 2.33times average speedup.