dInfer: Un Framework Efficiente per l'Inferenza nei Modelli Linguistici a Diffusione

dInfer: An Efficient Inference Framework for Diffusion Language Models

October 9, 2025

Autori: Yuxin Ma, Lun Du, Lanning Wei, Kun Chen, Qian Xu, Kangyu Wang, Guofeng Feng, Guoshan Lu, Lin Liu, Xiaojing Qi, Xinyuan Zhang, Zhen Tao, Haibo Feng, Ziyun Jiang, Ying Xu, Zenan Huang, Yihong Zhuang, Haokai Xu, Jiaqi Hu, Zhenzhong Lan, Junbo Zhao, Jianguo Li, Da Zheng

cs.AI

Abstract

I modelli linguistici di grandi dimensioni basati su diffusione (dLLM) si sono affermati come una promettente alternativa ai modelli linguistici autoregressivi (AR), sfruttando la generazione basata su denoising per abilitare un parallelismo intrinseco. Nonostante l'emergere di sempre più modelli dLLM open-source, la loro adozione diffusa rimane limitata dalla mancanza di un framework di inferenza standardizzato ed efficiente. Presentiamo dInfer, un framework efficiente ed estensibile per l'inferenza di dLLM. dInfer scompone la pipeline di inferenza in quattro componenti modulari—modello, gestore delle iterazioni di diffusione, strategia di decodifica e gestore della KV-cache—e integra algoritmi innovativi per ciascun componente insieme a ottimizzazioni a livello di sistema. Attraverso questa combinazione di innovazioni algoritmiche e miglioramenti sistemici, dInfer ottiene significativi guadagni di efficienza senza compromettere la qualità dell'output su LLaDA-MoE. Con una dimensione del batch pari a 1, supera i 1.100 token al secondo su HumanEval e mantiene una media di oltre 800 token al secondo su sei benchmark utilizzando 8 GPU H800. Rispetto ai sistemi precedenti, dInfer offre un incremento di velocità di 10 volte rispetto a Fast-dLLM, mantenendo prestazioni del modello simili. Anche confrontato con il modello AR (con un numero comparabile di parametri di attivazione e prestazioni) QWen2.5-3B, altamente ottimizzato con il più recente motore di inferenza vLLM, dInfer garantisce comunque un incremento di velocità di 2-3 volte. L'implementazione di dInfer è open-source e disponibile all'indirizzo https://github.com/inclusionAI/dInfer.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.