dInfer : Un cadre d'inférence efficace pour les modèles de langage à diffusion

papers.abstract

Les modèles de langage à grande échelle basés sur la diffusion (dLLMs) se sont imposés comme une alternative prometteuse aux modèles de langage autoregressifs (AR), en exploitant la génération basée sur le débruitage pour permettre un parallélisme inhérent. Bien que de plus en plus de modèles dLLM open source voient le jour, leur adoption généralisée reste limitée par l'absence d'un cadre d'inférence standardisé et efficace. Nous présentons dInfer, un cadre d'inférence efficace et extensible pour les dLLMs. dInfer décompose le pipeline d'inférence en quatre composants modulaires—le modèle, le gestionnaire d'itérations de diffusion, la stratégie de décodage et le gestionnaire de cache KV—et intègre de nouveaux algorithmes pour chaque composant ainsi que des optimisations au niveau système. Grâce à cette combinaison d'innovations algorithmiques et d'améliorations système, dInfer réalise des gains d'efficacité substantiels sans compromettre la qualité des sorties sur LLaDA-MoE. Avec une taille de lot de 1, il dépasse 1 100 tokens par seconde sur HumanEval et atteint en moyenne plus de 800 tokens par seconde sur six benchmarks avec 8 fois H800 GPUs. Par rapport aux systèmes précédents, dInfer offre une accélération de 10 fois par rapport à Fast-dLLM tout en maintenant des performances de modèle similaires. Même comparé au modèle AR (avec un nombre comparable de paramètres d'activation et de performances) QWen2.5-3B, qui est hautement optimisé avec le dernier moteur d'inférence vLLM, dInfer offre encore une accélération de 2 à 3 fois. L'implémentation de dInfer est open source à l'adresse https://github.com/inclusionAI/dInfer.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.

dInfer : Un cadre d'inférence efficace pour les modèles de langage à diffusion

dInfer: An Efficient Inference Framework for Diffusion Language Models

papers.abstract

Support