LoPA: Skalierung der dLLM-Inferenz durch Lookahead-Parallel-Decodierung
LoPA: Scaling dLLM Inference via Lookahead Parallel Decoding
December 18, 2025
papers.authors: Chenkai Xu, Yijie Jin, Jiajun Li, Yi Tu, Guoping Long, Dandan Tu, Mingcong Song, Hongjie Si, Tianqi Hou, Junchi Yan, Zhijie Deng
cs.AI
papers.abstract
Diffusion Large Language Models (dLLMs) haben ein erhebliches Potenzial für hochgeschwindigkeitsinferenz demonstriert. Allerdings sind aktuelle konfidenzgesteuerte Dekodierungsstrategien durch begrenzte Parallelität eingeschränkt und erreichen typischerweise nur 1–3 Token pro Vorwärtsdurchlauf (TPF). In dieser Arbeit zeigen wir, dass der Grad der Parallelität während der dLLM-Inferenz hochsensibel auf die Token-Füllreihenfolge (TFO) reagiert. Darauf aufbauend führen wir Lookahead PArallel Decoding LoPA ein, einen trainingsfreien Plug-and-Play-Algorithmus, um eine überlegene TFO zu identifizieren und damit die Inferenz zu beschleunigen. LoPA erkundet gleichzeitig verschiedene Kandidaten-TFOs über parallele Zweige und wählt diejenige mit dem höchsten Potenzial für zukünftige Parallelität basierend auf der Zweigkonfidenz aus. Wir wenden LoPA auf das state-of-the-art D2F-Modell an und beobachten eine erhebliche Steigerung der Dekodiereffizienz. Bemerkenswerterweise erhöht LoPA den TPF von D2F-Dream auf GSM8K auf 10,1, wobei die Leistung über der Dream-Baseline bleibt. Darüber hinaus entwickeln wir, um diesen beispiellosen Parallelitätsgrad zu ermöglichen, ein spezialisiertes Multi-Device-Inferenzsystem mit Zweigparallelität (BP), das einen Durchsatz von 1073,9 Token pro Sekunde für eine einzelne Stichprobe unter Multi-GPU-Bereitstellung erreicht. Der Code ist verfügbar unter https://github.com/zhijie-group/LoPA.
English
Diffusion Large Language Models (dLLMs) have demonstrated significant potential for high-speed inference. However, current confidence-driven decoding strategies are constrained by limited parallelism, typically achieving only 1--3 tokens per forward pass (TPF). In this work, we identify that the degree of parallelism during dLLM inference is highly sensitive to the Token Filling Order (TFO). Then, we introduce Lookahead PArallel Decoding LoPA, a training-free, plug-and-play algorithm, to identify a superior TFO and hence accelerate inference. LoPA concurrently explores distinct candidate TFOs via parallel branches, and selects the one with the highest potential for future parallelism based on branch confidence. We apply LoPA to the state-of-the-art D2F model and observe a substantial enhancement in decoding efficiency. Notably, LoPA increases the TPF of D2F-Dream to 10.1 on the GSM8K while maintaining performance superior to the Dream baseline. Furthermore, to facilitate this unprecedented degree of parallelism, we develop a specialized multi-device inference system featuring Branch Parallelism (BP), which achieves a single-sample throughput of 1073.9 tokens per second under multi-GPU deployment. The code is available at https://github.com/zhijie-group/LoPA.