ReFusion: Een groot diffusietaalmodel met parallelle autoreressieve decodering

ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding

December 15, 2025

Auteurs: Jia-Nan Li, Jian Guan, Wei Wu, Chongxuan Li

cs.AI

Samenvatting

Autoregressieve modellen (ARM's) worden gehinderd door trage sequentiële inferentie. Hoewel gemaskeerde diffusiemodellen (MDM's) een parallel alternatief bieden, kampen ze met kritieke tekortkomingen: een hoge computationele overhead door het uitsluiten van Key-Value (KV)-caching, en incoherente generatie als gevolg van het leren van afhankelijkheden over een onhanteerbare ruimte van tokencombinaties. Om deze beperkingen aan te pakken, introduceren we ReFusion, een nieuw gemaskeerd diffusiemodel dat superieure prestaties en efficiëntie bereikt door parallelle decodering te verheffen van het tokenniveau naar een hoger slotniveau, waarbij elke slot een vaste-lengte, aaneengesloten subreeks is. Dit wordt bereikt via een iteratief "plan-en-invul" decodeproces: een op diffusie gebaseerde planningsstap identificeert eerst een reeks zwak afhankelijke slots, waarna een autoregressieve invulstap deze geselecteerde slots parallel decodeert. Het slot-gebaseerde ontgrendelt tegelijkertijd volledig hergebruik van de KV-cache binnen een uniform causaal framework en reduceert de leercomplexiteit van de ruimte van tokencombinaties naar een hanteerbare ruimte van slotpermutaties. Uitgebreide experimenten op zeven diverse benchmarks tonen aan dat ReFusion niet alleen eerdere MDM's ruimschoots overtreft met 34% prestatieverbetering en een gemiddelde versnelling van meer dan 18 keer, maar ook de prestatiekloof met sterke ARM's overbrugt terwijl het een gemiddelde snelheidswinst van 2.33 keer behoudt.

English

Autoregressive models (ARMs) are hindered by slow sequential inference. While masked diffusion models (MDMs) offer a parallel alternative, they suffer from critical drawbacks: high computational overhead from precluding Key-Value (KV) caching, and incoherent generation arising from learning dependencies over an intractable space of token combinations. To address these limitations, we introduce ReFusion, a novel masked diffusion model that achieves superior performance and efficiency by elevating parallel decoding from the token level to a higher slot level, where each slot is a fixed-length, contiguous sub-sequence. This is achieved through an iterative ``plan-and-infill'' decoding process: a diffusion-based planning step first identifies a set of weakly dependent slots, and an autoregressive infilling step then decodes these selected slots in parallel. The slot-based design simultaneously unlocks full KV cache reuse with a unified causal framework and reduces the learning complexity from the token combination space to a manageable slot-level permutation space. Extensive experiments on seven diverse benchmarks show that ReFusion not only overwhelmingly surpasses prior MDMs with 34% performance gains and an over 18times speedup on average, but also bridges the performance gap to strong ARMs while maintaining a 2.33times average speedup.