De Next-Token para Next-Block: Um Caminho de Adaptação Fundamentado para LLMs de Difusão

Resumo

Os grandes modelos de linguagem (LLMs) destacam-se na geração de texto, mas a decodagem autoregressiva (AR) dominante é inerentemente sequencial, criando um gargalo de produtividade. Os Modelos de Linguagem por Difusão (DLMs) – especialmente as variantes de geração em blocos – permitem geração paralela e raciocínio bidirecional intrabloco, mas o treinamento de grandes DLMs a partir do zero é dispendioso e desperdiça o conhecimento contido em checkpoints AR maduros. Tentativas anteriores de "adaptação" modificaram logits ou expandiram aleatoriamente máscaras de atenção para difusão de sequência completa, ou simplesmente transplantaram pesos AR para uma receita de difusão em blocos, deixando sem solução uma incompatibilidade fundamental entre a causalidade AR e a bidirecionalidade em blocos. Reformulamos a adaptação como um caminho intraparadigmático de AR para Difusão em Blocos, encarando a AR como Difusão em Blocos com tamanho de bloco=1. Concretamente, projetamos o percurso de adaptação da seguinte forma: usamos uma máscara de atenção contexto-causal (causal no contexto, bidirecional apenas dentro do bloco ativo), um procedimento de adaptação paralela eficiente, uma perda AR auxiliar para maximizar a utilização de dados e reter conhecimento pré-treinado, e incremento gradual do tamanho do bloco de geração. A receita integra-se perfeitamente com a difusão em blocos mascarada e mantém a consistência treino-inferência. Construídos sobre esses componentes, os modelos NBDiff-7B (Base e Instrução) puderam herdar as capacidades de modelagem de contexto longo e raciocínio, alcançando desempenho de ponta entre os DLMs da classe 7B, obtendo ganhos significativos em benchmarks de conhecimento geral, matemática e código sobre bases fortes. Esses resultados demonstram que a adaptação fundamentada de AR para difusão em blocos é uma alternativa eficaz e computacionalmente eficiente ao treinamento de DLMs a partir do zero. Códigos: https://github.com/YuchuanTian/NBDiff.

English

Large language models (LLMs) excel at generation but dominant autoregressive (AR) decoding is inherently sequential, creating a throughput bottleneck. Diffusion Language Models (DLMs)--especially block-wise variants--enable parallel generation and intra-block bidirectional reasoning, yet training large DLMs from scratch is costly and wastes the knowledge in mature AR checkpoints. Prior "adaptation" attempts either modify logits or randomly grow attention masks to full-sequence diffusion, or simply transplant AR weights into a block-diffusion recipe, leaving a fundamental mismatch between AR causality and block-wise bidirectionality unaddressed. We reframe adaptation as a intra-paradigm path from AR to Block-Diffusion by viewing AR as Block-Diffusion with blocksize=1. Concretely, we design the pathway of adaptation as follows: we use a context-causal attention mask (causal in context, bidirectional only within the active block), an efficient parallel adaptation procedure, an auxiliary AR loss to maximize data utilization and retain pretrained knowledge, and gradual increment of the generation block size. The recipe integrates cleanly with masked block-diffusion and maintains train-inference consistency. Built on these components, NBDiff-7B (Base and Instruct) could inherit the long-context modeling and reasoning capabilities, and achieve state-of-the-art performance among the 7B-class DLMs, delivering strong gains on general-knowledge, math, and code benchmarks over strong baselines. These results demonstrate that principled AR-to-block-diffusion adaptation is an effective and compute-efficient alternative to training DLMs from scratch. Codes: https://github.com/YuchuanTian/NBDiff.

De Next-Token para Next-Block: Um Caminho de Adaptação Fundamentado para LLMs de Difusão

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs

Resumo

Support