Sequentieel Diffusie Taalmodellen

Samenvatting

Diffusie-taalmmodellen (DLM's) hebben een sterke theoretische efficiëntie, maar worden beperkt door vaste-lengte-decodering en incompatibiliteit met key-value (KV)-caches. Block-diffusie vermindert deze problemen, maar handhaaft nog steeds een vaste blokgrootte en vereist kostbare training. Wij introduceren Next Sequence Prediction (NSP), dat next-token- en next-block-predictie verenigt, waardoor het model adaptief de generatielengte bij elke stap kan bepalen. Wanneer de lengte vastgesteld is op 1, reduceert NSP tot standaard next-token-predictie. Gebaseerd op NSP, stellen wij het Sequential Diffusion Language Model (SDLM) voor, dat vooraf getrainde autoregressieve taalmmodellen (ALM's) tegen minimale kosten kan aanpassen. Specifiek voert SDLM diffusie-inferentie uit binnen maskerblokken van vaste grootte, maar decodeert dynamisch opeenvolgende subreeksen op basis van modelvertrouwen, waardoor KV-cache-compatibiliteit behouden blijft en de robuustheid tegen variërende onzekerheid en semantiek over de reeks verbetert. Experimenten tonen aan dat SDLM sterke autoregressieve basislijnen evenaart of overtreft met slechts 3,5M trainingsvoorbeelden, terwijl het een 2,1 keer hogere doorvoersnelheid bereikt dan Qwen-2.5. Opmerkelijk is dat het SDLM-32B-model nog meer uitgesproken efficiëntiewinsten oplevert, wat het sterke schaalbaarheidspotentieel van ons modelleerparadigma aantoont. Projectpagina en codes: https://github.com/OpenGVLab/SDLM

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

Sequentieel Diffusie Taalmodellen

Sequential Diffusion Language Models

Samenvatting

Support