DuoDecoding: Hardwarebewuste heterogene speculatieve decodering met dynamische multi-sequentie conceptvorming

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Auteurs: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Samenvatting

Grote taalmodellen (LLMs) vertonen uitzonderlijke prestaties op een breed scala aan taken; hun token-voor-token autoregressieve generatieproces belemmert echter aanzienlijk de inferentiesnelheid. Speculatieve decodering biedt een veelbelovend raamwerk van concept-then-verifiëren dat de generatielatentie vermindert terwijl de getrouwheid van de uitvoerdistributie behouden blijft. Desalniettemin introduceert het conceptmodel extra rekenoverhead, wat een prestatieknelpunt wordt en de tijd tot de eerste token (TTFT) verhoogt. Eerdere benaderingen om de overhead van het conceptmodel te verminderen, hebben voornamelijk vertrouwd op heuristieken en slaagden er over het algemeen niet in de kwaliteit van de concepttaalmodellen te evenaren. Om deze uitdagingen aan te pakken, stellen we DuoDecoding voor, een nieuwe benadering die het concept- en doelmodel strategisch inzet op respectievelijk de CPU en GPU, waardoor parallelle decodering mogelijk wordt terwijl de kwaliteit van het concept behouden blijft. Onze methode omvat een hardwarebewust optimaal conceptbudget om inactieve tijden te minimaliseren en maakt gebruik van dynamische multi-sequentieconceptvorming om de kwaliteit van het concept te verbeteren. Uitgebreide experimenten over zeven taken laten zien dat DuoDecoding een versnelling van de generatielatentie tot 2,61x bereikt, terwijl de TTFT wordt teruggebracht tot 83% van die in conventionele speculatieve decodering. De code is beschikbaar op https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.