Da Next-Token a Next-Block: Un Percorso di Adattamento Principiato per i Modelli Linguistici di Diffusione

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs

December 7, 2025

Autori: Yuchuan Tian, Yuchen Liang, Jiacheng Sun, Shuo Zhang, Guangwen Yang, Yingte Shu, Sibo Fang, Tianyu Guo, Kai Han, Chao Xu, Hanting Chen, Xinghao Chen, Yunhe Wang

cs.AI

Abstract

I grandi modelli linguistici (LLM) eccellono nella generazione, ma la decodifica autoregressiva (AR) dominante è intrinsecamente sequenziale, creando un collo di bottiglia per la produttività. I modelli linguistici a diffusione (DLM) – specialmente le varianti a blocchi – consentono una generazione parallela e un ragionamento bidirezionale intra-blocco, eppure l'addestramento di grandi DLM da zero è costoso e spreca la conoscenza contenuta nei checkpoint AR maturi. I precedenti tentativi di "adattamento" hanno modificato i logit o esteso casualmente le maschere di attenzione alla diffusione a sequenza completa, o hanno semplicemente trapiantato i pesi AR in una ricetta a diffusione a blocchi, lasciando irrisolta una fondamentale discrepanza tra la causalità AR e la bidirezionalità a blocchi. Noi riformuliamo l'adattamento come un percorso intra-paradigma dall'AR alla diffusione a blocchi, considerando l'AR come un caso di diffusione a blocchi con dimensione del blocco=1. Nello specifico, progettiamo il percorso di adattamento come segue: utilizziamo una maschera di attenzione contestuale-causale (causale nel contesto, bidirezionale solo all'interno del blocco attivo), una procedura di adattamento parallelo efficiente, una perdita AR ausiliaria per massimizzare l'utilizzo dei dati e conservare la conoscenza pre-addestrata, e un incremento graduale della dimensione del blocco di generazione. La ricetta si integra perfettamente con la diffusione a blocchi mascherata e mantiene la coerenza tra addestramento e inferenza. Basandosi su questi componenti, NBDiff-7B (Base e Instruct) ha potuto ereditare le capacità di modellazione di contesti lunghi e di ragionamento, e ha raggiunto prestazioni all'avanguardia tra i DLM della classe 7B, ottenendo significativi miglioramenti su benchmark di conoscenza generale, matematica e codice rispetto a baseline solide. Questi risultati dimostrano che un adattamento principiato dall'AR alla diffusione a blocchi è un'alternativa efficace e computazionalmente efficiente all'addestramento di DLM da zero. Codici: https://github.com/YuchuanTian/NBDiff.

English

Large language models (LLMs) excel at generation but dominant autoregressive (AR) decoding is inherently sequential, creating a throughput bottleneck. Diffusion Language Models (DLMs)--especially block-wise variants--enable parallel generation and intra-block bidirectional reasoning, yet training large DLMs from scratch is costly and wastes the knowledge in mature AR checkpoints. Prior "adaptation" attempts either modify logits or randomly grow attention masks to full-sequence diffusion, or simply transplant AR weights into a block-diffusion recipe, leaving a fundamental mismatch between AR causality and block-wise bidirectionality unaddressed. We reframe adaptation as a intra-paradigm path from AR to Block-Diffusion by viewing AR as Block-Diffusion with blocksize=1. Concretely, we design the pathway of adaptation as follows: we use a context-causal attention mask (causal in context, bidirectional only within the active block), an efficient parallel adaptation procedure, an auxiliary AR loss to maximize data utilization and retain pretrained knowledge, and gradual increment of the generation block size. The recipe integrates cleanly with masked block-diffusion and maintains train-inference consistency. Built on these components, NBDiff-7B (Base and Instruct) could inherit the long-context modeling and reasoning capabilities, and achieve state-of-the-art performance among the 7B-class DLMs, delivering strong gains on general-knowledge, math, and code benchmarks over strong baselines. These results demonstrate that principled AR-to-block-diffusion adaptation is an effective and compute-efficient alternative to training DLMs from scratch. Codes: https://github.com/YuchuanTian/NBDiff.