Modèles de langage à diffusion séquentielle

papers.abstract

Les modèles de langage par diffusion (DLM) possèdent une forte efficacité théorique, mais sont limités par un décodage de longueur fixe et une incompatibilité avec les caches clé-valeur (KV). La diffusion par blocs atténue ces problèmes, mais impose toujours une taille de bloc fixe et nécessite un entraînement coûteux. Nous introduisons la prédiction de séquence suivante (Next Sequence Prediction, NSP), qui unifie la prédiction du prochain jeton et du prochain bloc, permettant au modèle de déterminer de manière adaptative la longueur de génération à chaque étape. Lorsque la longueur est fixée à 1, NSP se réduit à la prédiction standard du prochain jeton. En s'appuyant sur NSP, nous proposons le modèle de langage par diffusion séquentielle (Sequential Diffusion Language Model, SDLM), qui peut adapter des modèles de langage autorégressifs pré-entraînés (ALM) à un coût minimal. Concrètement, SDLM effectue une inférence par diffusion au sein de blocs de masque de taille fixe, mais décode dynamiquement des sous-séquences consécutives en fonction de la confiance du modèle, préservant ainsi la compatibilité avec les caches KV et améliorant la robustesse face à l'incertitude et à la sémantique variables le long de la séquence. Les expériences montrent que SDLM égale ou dépasse les modèles autorégressifs de référence en utilisant seulement 3,5 millions d'échantillons d'entraînement, tout en atteignant un débit 2,1 fois supérieur à celui de Qwen-2.5. Notamment, le modèle SDLM-32B offre des gains d'efficacité encore plus marqués, démontrant le fort potentiel de scalabilité de notre paradigme de modélisation. Page du projet et codes : https://github.com/OpenGVLab/SDLM.

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

Modèles de langage à diffusion séquentielle

Sequential Diffusion Language Models

papers.abstract

Support