dInfer: Um Framework Eficiente de Inferência para Modelos de Linguagem de Difusão

dInfer: An Efficient Inference Framework for Diffusion Language Models

October 9, 2025

Autores: Yuxin Ma, Lun Du, Lanning Wei, Kun Chen, Qian Xu, Kangyu Wang, Guofeng Feng, Guoshan Lu, Lin Liu, Xiaojing Qi, Xinyuan Zhang, Zhen Tao, Haibo Feng, Ziyun Jiang, Ying Xu, Zenan Huang, Yihong Zhuang, Haokai Xu, Jiaqi Hu, Zhenzhong Lan, Junbo Zhao, Jianguo Li, Da Zheng

cs.AI

Resumo

Modelos de linguagem baseados em difusão (dLLMs) surgiram como uma alternativa promissora aos modelos de linguagem autoregressivos (AR), aproveitando a geração baseada em desruído para permitir paralelismo inerente. Embora cada vez mais modelos dLLMs de código aberto surjam, sua adoção generalizada ainda é limitada pela falta de uma estrutura de inferência padronizada e eficiente. Apresentamos o dInfer, uma estrutura eficiente e extensível para inferência de dLLMs. O dInfer decompõe o pipeline de inferência em quatro componentes modulares—modelo, gerenciador de iteração de difusão, estratégia de decodificação e gerenciador de cache KV—e integra novos algoritmos para cada componente, juntamente com otimizações em nível de sistema. Através dessa combinação de inovações algorítmicas e aprimoramentos de sistema, o dInfer alcança ganhos substanciais de eficiência sem comprometer a qualidade da saída no LLaDA-MoE. Com um tamanho de lote 1, ele supera 1.100 tokens por segundo no HumanEval e mantém uma média de mais de 800 tokens por segundo em seis benchmarks utilizando 8 GPUs H800. Em comparação com sistemas anteriores, o dInfer oferece uma aceleração de 10 vezes em relação ao Fast-dLLM, mantendo um desempenho de modelo similar. Mesmo comparado ao modelo AR (com um número comparável de parâmetros de ativação e desempenho) QWen2.5-3B, que é altamente otimizado com o mais recente mecanismo de inferência vLLM, o dInfer ainda proporciona uma aceleração de 2 a 3 vezes. A implementação do dInfer está disponível em código aberto em https://github.com/inclusionAI/dInfer.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.