LoPA: Schaalvergroting van dLLM-inferentie via Lookahead Parallel Decodering
LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding
December 18, 2025
Auteurs: Chenkai Xu, Yijie Jin, Jiajun Li, Yi Tu, Guoping Long, Dandan Tu, Mingcong Song, Hongjie Si, Tianqi Hou, Junchi Yan, Zhijie Deng
cs.AI
Samenvatting
Diffusion Large Language Models (dLLM's) hebben aanzienlijk potentieel getoond voor snelle inferentie. De huidige vertrouwensgedreven decodeerstrategieën worden echter beperkt door een gebrek aan parallellisme, waarbij doorgaans slechts 1–3 tokens per forward pass (TPF) worden behaald. In dit werk tonen we aan dat de mate van parallellisme tijdens dLLM-inferentie zeer gevoelig is voor de Tokenvulvolgorde (TFO). Vervolgens introduceren we Lookahead Parallel Decoding (LoPA), een trainingsvrij, plug-and-play algoritme, om een superieure TFO te identificeren en daarmee de inferentie te versnellen. LoPA verkent gelijktijdig verschillende kandidaat-TFO's via parallelle takken en selecteert de volgorde met het grootste potentieel voor toekomstige parallellisme op basis van takvertrouwen. We passen LoPA toe op het state-of-the-art D2F-model en observeren een aanzienlijke verbetering in decodeerefficiëntie. Opmerkelijk is dat LoPA de TPF van D2F-Dream verhoogt naar 10,1 op de GSM8K-dataset, waarbij de prestaties superieur blijven aan de Dream-basislijn. Verder ontwikkelen we, om deze ongekende mate van parallellisme mogelijk te maken, een gespecialiseerd multi-device inferentiesysteem met Takparallellisme (BP), dat een doorvoer van 1073,9 tokens per seconde per sample bereikt in een multi-GPU-implementatie. De code is beschikbaar op https://github.com/zhijie-group/LoPA.
English
Diffusion Large Language Models (dLLMs) have demonstrated significant potential for high-speed inference. However, current confidence-driven decoding strategies are constrained by limited parallelism, typically achieving only 1--3 tokens per forward pass (TPF). In this work, we identify that the degree of parallelism during dLLM inference is highly sensitive to the Token Filling Order (TFO). Then, we introduce Lookahead PArallel Decoding LoPA, a training-free, plug-and-play algorithm, to identify a superior TFO and hence accelerate inference. LoPA concurrently explores distinct candidate TFOs via parallel branches, and selects the one with the highest potential for future parallelism based on branch confidence. We apply LoPA to the state-of-the-art D2F model and observe a substantial enhancement in decoding efficiency. Notably, LoPA increases the TPF of D2F-Dream to 10.1 on the GSM8K while maintaining performance superior to the Dream baseline. Furthermore, to facilitate this unprecedented degree of parallelism, we develop a specialized multi-device inference system featuring Branch Parallelism (BP), which achieves a single-sample throughput of 1073.9 tokens per second under multi-GPU deployment. The code is available at https://github.com/zhijie-group/LoPA.