dInfer: Un Marco de Inferencia Eficiente para Modelos de Lenguaje Basados en Difusión

Resumen

Los modelos de lenguaje basados en difusión (dLLMs, por sus siglas en inglés) han surgido como una alternativa prometedora a los modelos de lenguaje autoregresivos (AR), aprovechando la generación basada en eliminación de ruido para permitir un paralelismo inherente. Aunque cada vez más modelos dLLM de código abierto están emergiendo, su adopción generalizada sigue limitada por la falta de un marco de inferencia estandarizado y eficiente. Presentamos dInfer, un marco eficiente y extensible para la inferencia de dLLM. dInfer descompone la canalización de inferencia en cuatro componentes modulares—modelo, gestor de iteraciones de difusión, estrategia de decodificación y gestor de caché KV—e integra algoritmos novedosos para cada componente junto con optimizaciones a nivel de sistema. A través de esta combinación de innovaciones algorítmicas y mejoras del sistema, dInfer logra ganancias sustanciales en eficiencia sin comprometer la calidad de la salida en LLaDA-MoE. Con un tamaño de lote de 1, supera los 1,100 tokens por segundo en HumanEval y promedia más de 800 tokens por segundo en seis puntos de referencia utilizando 8 GPUs H800. En comparación con sistemas anteriores, dInfer ofrece una aceleración de 10 veces sobre Fast-dLLM mientras mantiene un rendimiento similar del modelo. Incluso en comparación con el modelo AR (con un número comparable de parámetros de activación y rendimiento) QWen2.5-3B, que está altamente optimizado con el último motor de inferencia vLLM, dInfer aún ofrece una aceleración de 2 a 3 veces. La implementación de dInfer está disponible como código abierto en https://github.com/inclusionAI/dInfer.

English

Diffusion-based large language models (dLLMs) have emerged as a promising alternative to autoregressive (AR) LLMs, leveraging denoising-based generation to enable inherent parallelism. Even more and more open-sourced dLLM models emerge, yet their widespread adoption remains constrained by the lack of a standardized and efficient inference framework. We present dInfer, an efficient and extensible framework for dLLM inference. dInfer decomposes the inference pipeline into four modular components--model, diffusion iteration manager, decoding strategy, and KV-cache manager--and integrates novel algorithms for each component alongside system-level optimizations. Through this combination of algorithmic innovations and system enhancements, dInfer achieves substantial efficiency gains without compromising output quality on LLaDA-MoE. At batch size 1, it surpasses 1,100 tokens per second on HumanEval and averages over 800 tokens per second across six benchmarks on 8times H800 GPUs. Compared to prior systems, dInfer delivers a 10times speedup over Fast-dLLM while maintaining similar model performance. Even compared to the AR model (with a comparable number of activation parameters and performance) QWen2.5-3B, which is highly optimized with the latest vLLM inference engine, dInfer still delivers a 2-3times speedup. The implementation of dInfer is open-sourced at https://github.com/inclusionAI/dInfer.

dInfer: Un Marco de Inferencia Eficiente para Modelos de Lenguaje Basados en Difusión

dInfer: An Efficient Inference Framework for Diffusion Language Models

Resumen

Support