Последовательные диффузионные языковые модели

Sequential Diffusion Language Models

September 28, 2025

Авторы: Yangzhou Liu, Yue Cao, Hao Li, Gen Luo, Zhe Chen, Weiyun Wang, Xiaobo Liang, Biqing Qi, Lijun Wu, Changyao Tian, Yanting Zhang, Yuqiang Li, Tong Lu, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Аннотация

Диффузионные языковые модели (DLMs) обладают высокой теоретической эффективностью, но ограничены фиксированной длиной декодирования и несовместимостью с кэшами ключ-значение (KV). Блочная диффузия смягчает эти проблемы, однако всё же накладывает фиксированный размер блока и требует дорогостоящего обучения. Мы представляем метод Next Sequence Prediction (NSP), который объединяет предсказание следующего токена и следующего блока, позволяя модели адаптивно определять длину генерации на каждом шаге. Когда длина фиксирована на уровне 1, NSP сводится к стандартному предсказанию следующего токена. На основе NSP мы предлагаем Sequential Diffusion Language Model (SDLM), которая может адаптировать предварительно обученные авторегрессивные языковые модели (ALMs) с минимальными затратами. В частности, SDLM выполняет диффузионный вывод в рамках блоков фиксированного размера, но динамически декодирует последовательные подпоследовательности на основе уверенности модели, сохраняя совместимость с KV-кэшем и повышая устойчивость к изменяющейся неопределённости и семантике в последовательности. Эксперименты показывают, что SDLM соответствует или превосходит сильные авторегрессивные базовые модели, используя всего 3,5 млн обучающих выборок, при этом достигая пропускной способности в 2,1 раза выше, чем у Qwen-2.5. Примечательно, что модель SDLM-32B демонстрирует ещё более выраженные преимущества в эффективности, подчеркивая высокий потенциал масштабируемости нашей модели. Страница проекта и код: https://github.com/OpenGVLab/SDLM.

English

Diffusion language models (DLMs) have strong theoretical efficiency but are limited by fixed-length decoding and incompatibility with key-value (KV) caches. Block diffusion mitigates these issues, yet still enforces a fixed block size and requires expensive training. We introduce Next Sequence Prediction (NSP), which unifies next-token and next-block prediction, enabling the model to adaptively determine the generation length at each step. When the length is fixed to 1, NSP reduces to standard next-token prediction. Building on NSP, we propose Sequential Diffusion Language Model (SDLM), which can retrofit pre-trained autoregressive language models (ALMs) at minimal cost. Specifically, SDLM performs diffusion inference within fixed-size mask blocks, but dynamically decodes consecutive subsequences based on model confidence, thereby preserving KV-cache compatibility and improving robustness to varying uncertainty and semantics across the sequence. Experiments show that SDLM matches or surpasses strong autoregressive baselines using only 3.5M training samples, while achieving 2.1 higher throughput than Qwen-2.5. Notably, the SDLM-32B model delivers even more pronounced efficiency gains, demonstrating the strong scalability potential of our modeling paradigm. Project page and codes: https://github.com/OpenGVLab/SDLM