ReFusion: Диффузионная большая языковая модель с параллельным авторегрессионным декодированием

ReFusion: A Diffusion Large Language Model with Parallel Autoregressive Decoding

December 15, 2025

Авторы: Jia-Nan Li, Jian Guan, Wei Wu, Chongxuan Li

cs.AI

Аннотация

Авторегрессионные модели (ARMs) ограничены медленным последовательным выводом. Хотя маскированные диффузионные модели (MDMs) предлагают параллельную альтернативу, они страдают от существенных недостатков: высоких вычислительных затрат из-за невозможности кэширования ключей-значений (KV) и несогласованной генерации, вызванной изучением зависимостей в неразрешимом пространстве комбинаций токенов. Для преодоления этих ограничений мы представляем ReFusion — новую маскированную диффузионную модель, которая достигает превосходной производительности и эффективности за счёт перехода от параллельного декодирования на уровне токенов к более высокому уровню слотов, где каждый слот представляет собой фиксированную по длине непрерывную подпоследовательность. Это реализуется через итеративный процесс декодирования «план-и-заполнение»: на этапе планирования на основе диффузии сначала определяется набор слабозависимых слотов, а затем на авторегрессионном этапе заполнения эти выбранные слоты декодируются параллельно. Слотовая архитектура одновременно позволяет полностью повторно использовать KV-кэш в рамках единой каузальной структуры и снижает сложность обучения, переходя от пространства комбинаций токенов к управляемому пространству перестановок на уровне слотов. Многочисленные эксперименты на семи разнородных бенчмарках показывают, что ReFusion не только значительно превосходит предыдущие MDMs с приростом производительности на 34% и ускорением в среднем более чем в 18 раз, но и сокращает разрыв в производительности с мощными ARMs, сохраняя среднее ускорение в 2.33 раза.

English

Autoregressive models (ARMs) are hindered by slow sequential inference. While masked diffusion models (MDMs) offer a parallel alternative, they suffer from critical drawbacks: high computational overhead from precluding Key-Value (KV) caching, and incoherent generation arising from learning dependencies over an intractable space of token combinations. To address these limitations, we introduce ReFusion, a novel masked diffusion model that achieves superior performance and efficiency by elevating parallel decoding from the token level to a higher slot level, where each slot is a fixed-length, contiguous sub-sequence. This is achieved through an iterative ``plan-and-infill'' decoding process: a diffusion-based planning step first identifies a set of weakly dependent slots, and an autoregressive infilling step then decodes these selected slots in parallel. The slot-based design simultaneously unlocks full KV cache reuse with a unified causal framework and reduces the learning complexity from the token combination space to a manageable slot-level permutation space. Extensive experiments on seven diverse benchmarks show that ReFusion not only overwhelmingly surpasses prior MDMs with 34% performance gains and an over 18times speedup on average, but also bridges the performance gap to strong ARMs while maintaining a 2.33times average speedup.