Modelos de Lenguaje de Difusión Secuencial

Resumen

Los modelos de lenguaje de difusión (DLMs, por sus siglas en inglés) poseen una fuerte eficiencia teórica, pero están limitados por la decodificación de longitud fija y la incompatibilidad con las cachés de clave-valor (KV). La difusión por bloques mitiga estos problemas, aunque aún impone un tamaño de bloque fijo y requiere un entrenamiento costoso. Introducimos la Predicción de la Siguiente Secuencia (NSP, por sus siglas en inglés), que unifica la predicción del siguiente token y del siguiente bloque, permitiendo que el modelo determine de manera adaptativa la longitud de generación en cada paso. Cuando la longitud se fija en 1, NSP se reduce a la predicción estándar del siguiente token. Basándonos en NSP, proponemos el Modelo de Lenguaje de Difusión Secuencial (SDLM, por sus siglas en inglés), que puede adaptar modelos de lenguaje autorregresivos (ALMs, por sus siglas en inglés) preentrenados con un costo mínimo. Específicamente, SDLM realiza inferencia de difusión dentro de bloques de máscara de tamaño fijo, pero decodifica dinámicamente subsecuencias consecutivas basándose en la confianza del modelo, preservando así la compatibilidad con las cachés KV y mejorando la robustez frente a la variabilidad de la incertidumbre y la semántica a lo largo de la secuencia. Los experimentos muestran que SDLM iguala o supera a fuertes líneas base autorregresivas utilizando solo 3.5 millones de muestras de entrenamiento, mientras logra un rendimiento 2.1 veces mayor que Qwen-2.5. Notablemente, el modelo SDLM-32B ofrece ganancias de eficiencia aún más pronunciadas, demostrando el fuerte potencial de escalabilidad de nuestro paradigma de modelado. Página del proyecto y códigos: https://github.com/OpenGVLab/SDLM.

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

Modelos de Lenguaje de Difusión Secuencial

Sequential Diffusion Language Models

Resumen

Support