DuoDecoding : Décodage spéculatif hétérogène adapté au matériel avec génération dynamique de séquences multiples

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Auteurs: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Résumé

Les grands modèles de langage (LLMs) démontrent des performances exceptionnelles sur un large éventail de tâches ; cependant, leur processus de génération autoregressive token par token ralentit considérablement la vitesse d'inférence. Le décodage spéculatif propose un cadre prometteur de brouillon puis vérification, réduisant la latence de génération tout en préservant la fidélité de la distribution des sorties. Néanmoins, le modèle de brouillon introduit une surcharge computationnelle supplémentaire, devenant un goulot d'étranglement de performance et augmentant le temps jusqu'au premier token (TTFT). Les approches précédentes pour atténuer la surcharge du modèle de brouillon reposaient principalement sur des heuristiques et échouaient généralement à égaler la qualité des modèles de langage de brouillon. Pour relever ces défis, nous proposons DuoDecoding, une approche novatrice qui déploie stratégiquement les modèles de brouillon et cible respectivement sur le CPU et le GPU, permettant un décodage parallèle tout en préservant la qualité du brouillon. Notre méthode intègre un budget de brouillon optimal adapté au matériel pour minimiser les temps d'inactivité et utilise un brouillonage dynamique multi-séquences pour améliorer la qualité du brouillon. Des expériences approfondies sur sept tâches montrent que DuoDecoding atteint jusqu'à 2,61x d'accélération de la latence de génération, tout en réduisant le TTFT à 83% de celui du décodage spéculatif conventionnel. Le code est disponible à l'adresse https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.