dInfer: Ein effizientes Inferenz-Framework für Diffusionssprachmodelle

dInfer: An Efficient Inference Framework for Diffusion Language Models

October 9, 2025

papers.authors: Yuxin Ma, Lun Du, Lanning Wei, Kun Chen, Qian Xu, Kangyu Wang, Guofeng Feng, Guoshan Lu, Lin Liu, Xiaojing Qi, Xinyuan Zhang, Zhen Tao, Haibo Feng, Ziyun Jiang, Ying Xu, Zenan Huang, Yihong Zhuang, Haokai Xu, Jiaqi Hu, Zhenzhong Lan, Junbo Zhao, Jianguo Li, Da Zheng

cs.AI

papers.abstract

Diffusionsbasierte große Sprachmodelle (dLLMs) haben sich als vielversprechende Alternative zu autoregressiven (AR) LLMs etabliert, indem sie eine denoising-basierte Generierung nutzen, um inhärente Parallelität zu ermöglichen. Obwohl immer mehr Open-Source-dLLM-Modelle entstehen, bleibt ihre breite Anwendung durch das Fehlen eines standardisierten und effizienten Inferenz-Frameworks eingeschränkt. Wir stellen dInfer vor, ein effizientes und erweiterbares Framework für die Inferenz von dLLMs. dInfer zerlegt den Inferenz-Pipeline in vier modulare Komponenten – Modell, Diffusions-Iterationsmanager, Dekodierungsstrategie und KV-Cache-Manager – und integriert neuartige Algorithmen für jede Komponente sowie systemweite Optimierungen. Durch diese Kombination von algorithmischen Innovationen und Systemverbesserungen erzielt dInfer erhebliche Effizienzsteigerungen, ohne die Ausgabequalität bei LLaDA-MoE zu beeinträchtigen. Bei einer Batch-Größe von 1 übertrifft es 1.100 Tokens pro Sekunde auf HumanEval und erreicht im Durchschnitt über 800 Tokens pro Sekunde über sechs Benchmarks auf 8x H800 GPUs. Im Vergleich zu früheren Systemen bietet dInfer eine 10-fache Beschleunigung gegenüber Fast-dLLM bei ähnlicher Modellleistung. Selbst im Vergleich zum AR-Modell (mit einer vergleichbaren Anzahl von Aktivierungsparametern und Leistung) QWen2.5-3B, das mit dem neuesten vLLM-Inferenz-Engine hochoptimiert ist, liefert dInfer immer noch eine 2-3-fache Beschleunigung. Die Implementierung von dInfer ist unter https://github.com/inclusionAI/dInfer open-source verfügbar.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.