T3D: Weinige-stap diffusie-taalmodellen via traject zelfdistillatie met directe discriminerende optimalisatie

T3D: Few-Step Diffusion Language Models via Trajectory Self-Distillation with Direct Discriminative Optimization

February 12, 2026

Auteurs: Tunyu Zhang, Xinxi Zhang, Ligong Han, Haizhou Shi, Xiaoxiao He, Zhuowei Li, Hao Wang, Kai Xu, Akash Srivastava, Hao Wang, Vladimir Pavlovic, Dimitris N. Metaxas

cs.AI

Samenvatting

Diffusie grote-taalmmodellen (DLLM's) hebben het potentieel om snelle tekstgeneratie mogelijk te maken door meerdere tokens parallel te decoderen. In de praktijk wordt hun inferentie-efficiëntie echter beperkt door de behoefte aan vele verfijningsstappen, terwijl een agressieve vermindering van het aantal stappen leidt tot een aanzienlijke verslechtering van de generatiekwaliteit. Om dit te verlichten, stellen we een raamwerk voor zelfdistillatie van trajecten voor dat decoding met weinig stappen verbetert door de generatieve trajecten van het model zelf te distilleren. We integreren Direct Discriminatieve Optimalisatie (DDO), een reverse-KL-doelstelling die mode-zoekende distillatie bevordert en de studentmodel aanmoedigt zich te concentreren op teachermodi met een hoge waarschijnlijkheid. Op benchmarks overtreft onze aanpak consistent sterke baseline-methoden met weinig stappen en standaard training onder strikte stapbudgetten. Hoewel decoding met volledige stappen superieur blijft, verkleinen we de kloof aanzienlijk en leggen we een sterke basis naar praktische DLLM's met weinig stappen. De broncode is beschikbaar op https://github.com/Tyrion58/T3D.

English

Diffusion large language models (DLLMs) have the potential to enable fast text generation by decoding multiple tokens in parallel. However, in practice, their inference efficiency is constrained by the need for many refinement steps, while aggressively reducing the number of steps leads to a substantial degradation in generation quality. To alleviate this, we propose a trajectory self-distillation framework that improves few-step decoding by distilling the model's own generative trajectories. We incorporate Direct Discriminative Optimization (DDO), a reverse-KL objective that promotes mode-seeking distillation and encourages the student to concentrate on high-probability teacher modes. Across benchmarks, our approach consistently outperforms strong few-step baselines and standard training under tight step budgets. Although full-step decoding remains superior, we substantially narrow the gap, establishing a strong foundation towards practical few-step DLLMs. The source code is available at https://github.com/Tyrion58/T3D.