LoPA : Mise à l'échelle de l'inférence des dLLM via le décodage parallèle prospectif
LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding
December 18, 2025
papers.authors: Chenkai Xu, Yijie Jin, Jiajun Li, Yi Tu, Guoping Long, Dandan Tu, Mingcong Song, Hongjie Si, Tianqi Hou, Junchi Yan, Zhijie Deng
cs.AI
papers.abstract
Les modèles de langage à diffusion à grande échelle (dLLM) ont démontré un potentiel significatif pour l'inférence à haute vitesse. Cependant, les stratégies de décodage basées sur la confiance actuelles sont limitées par un parallélisme restreint, n'atteignant généralement que 1 à 3 jetons par passage avant (TPF). Dans ce travail, nous identifions que le degré de parallélisme lors de l'inférence des dLLM est très sensible à l'ordre de remplissage des jetons (TFO). Nous présentons ensuite LoPA (Lookahead PArallel Decoding), un algorithme prêt à l'emploi et sans apprentissage, conçu pour identifier un TFO optimal et ainsi accélérer l'inférence. LoPA explore simultanément différents TFO candidats via des branches parallèles, et sélectionne celui présentant le plus grand potentiel de parallélisme futur en fonction de la confiance des branches. Nous appliquons LoPA au modèle D2F de pointe et observons une amélioration substantielle de l'efficacité du décodage. Notamment, LoPA porte le TPF de D2F-Dream à 10,1 sur le GSM8K tout en maintenant des performances supérieures à la ligne de base Dream. De plus, pour faciliter ce degré de parallélisme sans précédent, nous développons un système d'inférence multi-appareils spécialisé doté du parallélisme de branches (BP), qui atteint un débit par échantillon de 1073,9 jetons par seconde dans un déploiement multi-GPU. Le code est disponible à l'adresse https://github.com/zhijie-group/LoPA.
English
Diffusion Large Language Models (dLLMs) have demonstrated significant potential for high-speed inference. However, current confidence-driven decoding strategies are constrained by limited parallelism, typically achieving only 1--3 tokens per forward pass (TPF). In this work, we identify that the degree of parallelism during dLLM inference is highly sensitive to the Token Filling Order (TFO). Then, we introduce Lookahead PArallel Decoding LoPA, a training-free, plug-and-play algorithm, to identify a superior TFO and hence accelerate inference. LoPA concurrently explores distinct candidate TFOs via parallel branches, and selects the one with the highest potential for future parallelism based on branch confidence. We apply LoPA to the state-of-the-art D2F model and observe a substantial enhancement in decoding efficiency. Notably, LoPA increases the TPF of D2F-Dream to 10.1 on the GSM8K while maintaining performance superior to the Dream baseline. Furthermore, to facilitate this unprecedented degree of parallelism, we develop a specialized multi-device inference system featuring Branch Parallelism (BP), which achieves a single-sample throughput of 1073.9 tokens per second under multi-GPU deployment. The code is available at https://github.com/zhijie-group/LoPA.