dInfer: Een efficiënt inferentiekader voor diffusie-taalmodelle

dInfer: An Efficient Inference Framework for Diffusion Language Models

October 9, 2025

Auteurs: Yuxin Ma, Lun Du, Lanning Wei, Kun Chen, Qian Xu, Kangyu Wang, Guofeng Feng, Guoshan Lu, Lin Liu, Xiaojing Qi, Xinyuan Zhang, Zhen Tao, Haibo Feng, Ziyun Jiang, Ying Xu, Zenan Huang, Yihong Zhuang, Haokai Xu, Jiaqi Hu, Zhenzhong Lan, Junbo Zhao, Jianguo Li, Da Zheng

cs.AI

Samenvatting

Diffusie-gebaseerde grote taalmodellen (dLLM's) zijn naar voren gekomen als een veelbelovend alternatief voor autoregressieve (AR) LLM's, waarbij ze gebruikmaken van op ruisverwijdering gebaseerde generatie om inherente paralleliteit mogelijk te maken. Hoewel er steeds meer open-source dLLM-modellen verschijnen, blijft hun brede adoptie beperkt door het ontbreken van een gestandaardiseerd en efficiënt inferentiekader. Wij presenteren dInfer, een efficiënt en uitbreidbaar kader voor dLLM-inferentie. dInfer deelt de inferentiepijplijn op in vier modulaire componenten—model, diffusie-iteratiebeheerder, decodeerstrategie en KV-cachebeheerder—en integreert nieuwe algoritmen voor elke component naast systeemniveau-optimalisaties. Door deze combinatie van algoritmische innovaties en systeemverbeteringen behaalt dInfer aanzienlijke efficiëntiewinsten zonder in te leveren op uitvoerkwaliteit op LLaDA-MoE. Bij batchgrootte 1 overschrijdt het 1.100 tokens per seconde op HumanEval en gemiddeld meer dan 800 tokens per seconde over zes benchmarks op 8x H800 GPU's. Vergeleken met eerdere systemen biedt dInfer een 10x versnelling ten opzichte van Fast-dLLM terwijl het vergelijkbare modelprestaties behoudt. Zelfs vergeleken met het AR-model (met een vergelijkbaar aantal activeringsparameters en prestaties) QWen2.5-3B, dat sterk is geoptimaliseerd met de nieuwste vLLM-inferentie-engine, levert dInfer nog steeds een 2-3x versnelling. De implementatie van dInfer is open-source beschikbaar op https://github.com/inclusionAI/dInfer.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.