Sequenzielle Diffusionssprachmodelle

papers.abstract

Diffusionssprachmodelle (DLMs) weisen eine starke theoretische Effizienz auf, sind jedoch durch eine feste Dekodierungslänge und Inkompatibilität mit Key-Value (KV)-Caches eingeschränkt. Blockdiffusion mildert diese Probleme, erzwingt jedoch weiterhin eine feste Blockgröße und erfordert aufwendiges Training. Wir führen Next Sequence Prediction (NSP) ein, das die Vorhersage des nächsten Tokens und des nächsten Blocks vereint und es dem Modell ermöglicht, die Generierungslänge in jedem Schritt adaptiv zu bestimmen. Wenn die Länge auf 1 festgelegt ist, reduziert sich NSP auf die Standardvorhersage des nächsten Tokens. Aufbauend auf NSP schlagen wir das Sequential Diffusion Language Model (SDLM) vor, das vortrainierte autoregressive Sprachmodelle (ALMs) mit minimalem Aufwand anpassen kann. Insbesondere führt SDLM die Diffusionsinferenz innerhalb fester Maskenblöcke durch, dekodiert jedoch aufeinanderfolgende Teilsequenzen dynamisch basierend auf der Modellkonfidenz, wodurch die KV-Cache-Kompatibilität erhalten bleibt und die Robustheit gegenüber variierender Unsicherheit und Semantik über die Sequenz hinweg verbessert wird. Experimente zeigen, dass SDLM starke autoregressive Baselines mit nur 3,5 Mio. Trainingsdaten erreicht oder übertrifft, während es einen 2,1-fach höheren Durchsatz als Qwen-2.5 erzielt. Besonders hervorzuheben ist, dass das SDLM-32B-Modell noch deutlichere Effizienzgewinne liefert, was das starke Skalierungspotenzial unseres Modellierungsparadigmas demonstriert. Projektseite und Codes: https://github.com/OpenGVLab/SDLM.

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

Sequenzielle Diffusionssprachmodelle

Sequential Diffusion Language Models

papers.abstract

Support