Modelos de Linguagem de Difusão Sequencial

Resumo

Modelos de linguagem de difusão (DLMs) possuem forte eficiência teórica, mas são limitados pela decodificação de comprimento fixo e incompatibilidade com caches de chave-valor (KV). A difusão em blocos mitiga esses problemas, mas ainda impõe um tamanho de bloco fixo e requer treinamento custoso. Introduzimos a Predição de Sequência Seguinte (NSP), que unifica a previsão do próximo token e do próximo bloco, permitindo que o modelo determine adaptativamente o comprimento da geração em cada etapa. Quando o comprimento é fixado em 1, a NSP se reduz à previsão padrão do próximo token. Com base na NSP, propomos o Modelo de Linguagem de Difusão Sequencial (SDLM), que pode adaptar modelos de linguagem autorregressivos (ALMs) pré-treinados com custo mínimo. Especificamente, o SDLM realiza inferência de difusão dentro de blocos de máscara de tamanho fixo, mas decodifica subsequências consecutivas de forma dinâmica com base na confiança do modelo, preservando assim a compatibilidade com caches KV e melhorando a robustez frente à variação de incerteza e semântica ao longo da sequência. Experimentos mostram que o SDLM iguala ou supera fortes baselines autorregressivas usando apenas 3,5 milhões de amostras de treinamento, enquanto alcança um throughput 2,1 vezes maior que o Qwen-2.5. Notavelmente, o modelo SDLM-32B apresenta ganhos de eficiência ainda mais pronunciados, demonstrando o forte potencial de escalabilidade do nosso paradigma de modelagem. Página do projeto e códigos: https://github.com/OpenGVLab/SDLM

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM

Modelos de Linguagem de Difusão Sequencial

Sequential Diffusion Language Models

Resumo

Support