T3D: Многошаговые диффузионные языковые модели с само-дистилляцией траектории и прямой дискриминативной оптимизацией

T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization

February 12, 2026

Авторы: Tunyu Zhang, Xinxi Zhang, Ligong Han, Haizhou Shi, Xiaoxiao He, Zhuowei Li, Hao Wang, Kai Xu, Akash Srivastava, Hao Wang, Vladimir Pavlovic, Dimitris N. Metaxas

cs.AI

Аннотация

Диффузионные большие языковые модели (DLLM) обладают потенциалом для обеспечения быстрой генерации текста за счёт параллельного декодирования множества токенов. Однако на практике их эффективность при выводе ограничена необходимостью выполнения множества шагов уточнения, в то время как агрессивное сокращение числа шагов приводит к значительной деградации качества генерации. Для смягчения этой проблемы мы предлагаем фреймворк самодистилляции траекторий, который улучшает декодирование за малое число шагов путём дистилляции собственных генеративных траекторий модели. Мы применяем метод прямой дискриминативной оптимизации (DDO) — обратную KL-цель, которая способствует режим-ориентированной дистилляции и побуждает ученика концентрироваться на высоковероятностных модах учителя. На различных тестовых наборах наш подход последовательно превосходит сильные базовые методы для малого числа шагов и стандартное обучение при жёстких ограничениях на количество шагов. Хотя декодирование с полным числом шагов остаётся более качественным, мы существенно сокращаем разрыв, закладывая прочную основу для практического применения DLLM с малым числом шагов. Исходный код доступен по адресу https://github.com/Tyrion58/T3D.

English

Diffusion large language models (DLLMs) have the potential to enable fast text generation by decoding multiple tokens in parallel. However, in practice, their inference efficiency is constrained by the need for many refinement steps, while aggressively reducing the number of steps leads to a substantial degradation in generation quality. To alleviate this, we propose a trajectory self-distillation framework that improves few-step decoding by distilling the model's own generative trajectories. We incorporate Direct Discriminative Optimization (DDO), a reverse-KL objective that promotes mode-seeking distillation and encourages the student to concentrate on high-probability teacher modes. Across benchmarks, our approach consistently outperforms strong few-step baselines and standard training under tight step budgets. Although full-step decoding remains superior, we substantially narrow the gap, establishing a strong foundation towards practical few-step DLLMs. The source code is available at https://github.com/Tyrion58/T3D.