LoPA: Escalonamento da Inferência de dLLM por meio de Decodificação Paralela Antecipada
LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding
December 18, 2025
Autores: Chenkai Xu, Yijie Jin, Jiajun Li, Yi Tu, Guoping Long, Dandan Tu, Mingcong Song, Hongjie Si, Tianqi Hou, Junchi Yan, Zhijie Deng
cs.AI
Resumo
Os Modelos de Linguagem de Grande Porte por Difusão (dLLMs) demonstraram potencial significativo para inferência de alta velocidade. No entanto, as atuais estratégias de decodificação baseadas em confiança são limitadas pelo paralelismo reduzido, tipicamente alcançando apenas 1 a 3 tokens por passagem direta (TPF). Neste trabalho, identificamos que o grau de paralelismo durante a inferência de dLLMs é altamente sensível à Ordem de Preenchimento de Tokens (TFO). Em seguida, introduzimos o LoPA (Lookahead PArallel Decoding), um algoritmo *plug-and-play* que não requer treinamento, para identificar uma TFO superior e, assim, acelerar a inferência. O LoPA explora concorrentemente distintas TFOs candidatas por meio de ramos paralelos e seleciona aquela com maior potencial de paralelismo futuro com base na confiança do ramo. Aplicamos o LoPA ao modelo state-of-the-art D2F e observamos um aprimoramento substancial na eficiência de decodificação. Notavelmente, o LoPA aumenta o TPF do D2F-Dream para 10,1 no conjunto GSM8K, mantendo um desempenho superior à linha de base Dream. Adicionalmente, para viabilizar esse grau de paralelismo sem precedentes, desenvolvemos um sistema de inferência especializado multi-dispositivo com Paralelismo de Ramos (BP), que atinge uma taxa de transferência por amostra única de 1073,9 tokens por segundo em implantação multi-GPU. O código está disponível em https://github.com/zhijie-group/LoPA.
English
Diffusion Large Language Models (dLLMs) have demonstrated significant potential for high-speed inference. However, current confidence-driven decoding strategies are constrained by limited parallelism, typically achieving only 1--3 tokens per forward pass (TPF). In this work, we identify that the degree of parallelism during dLLM inference is highly sensitive to the Token Filling Order (TFO). Then, we introduce Lookahead PArallel Decoding LoPA, a training-free, plug-and-play algorithm, to identify a superior TFO and hence accelerate inference. LoPA concurrently explores distinct candidate TFOs via parallel branches, and selects the one with the highest potential for future parallelism based on branch confidence. We apply LoPA to the state-of-the-art D2F model and observe a substantial enhancement in decoding efficiency. Notably, LoPA increases the TPF of D2F-Dream to 10.1 on the GSM8K while maintaining performance superior to the Dream baseline. Furthermore, to facilitate this unprecedented degree of parallelism, we develop a specialized multi-device inference system featuring Branch Parallelism (BP), which achieves a single-sample throughput of 1073.9 tokens per second under multi-GPU deployment. The code is available at https://github.com/zhijie-group/LoPA.