DuoDecoding: Hardwarebewusstes heterogenes spekulatives Decodieren mit dynamischer Multi-Sequenz-Entwurfsgenerierung

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Autoren: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen außergewöhnliche Leistungen bei einer Vielzahl von Aufgaben; jedoch behindert ihr tokenweise autoregressiver Generierungsprozess die Inferenzgeschwindigkeit erheblich. Spekulative Dekodierung bietet ein vielversprechendes Draft-then-Verify-Framework, das die Generierungslatenz reduziert, während die Treue der Ausgabeverteilung erhalten bleibt. Dennoch führt das Draft-Modell zusätzlichen Rechenaufwand ein, was zu einem Leistungsengpass wird und die Zeit bis zum ersten Token (TTFT) erhöht. Bisherige Ansätze zur Minderung des Draft-Modell-Overheads stützten sich hauptsächlich auf Heuristiken und konnten die Qualität der Draft-Sprachmodelle in der Regel nicht erreichen. Um diese Herausforderungen zu bewältigen, schlagen wir DuoDecoding vor, einen neuartigen Ansatz, der das Draft- und das Zielmodell strategisch auf der CPU bzw. der GPU einsetzt und so eine parallele Dekodierung ermöglicht, während die Draft-Qualität erhalten bleibt. Unsere Methode integriert ein hardwarebewusstes optimales Draft-Budget, um Leerlaufzeiten zu minimieren, und verwendet dynamisches Multi-Sequenz-Drafting, um die Draft-Qualität zu verbessern. Umfangreiche Experimente über sieben Aufgaben zeigen, dass DuoDecoding eine bis zu 2,61-fache Beschleunigung der Generierungslatenz erreicht, während die TTFT auf 83 % derjenigen in der konventionellen spekulativen Dekodierung reduziert wird. Der Code ist verfügbar unter https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.