DuoDecoding: Decodificação Especulativa Heterogênea Consciente de Hardware com Rascunho Dinâmico de Múltiplas Sequências

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Autores: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) demonstram desempenho excepcional em uma ampla gama de tarefas; no entanto, seu processo de geração autoregressivo token por token prejudica significativamente a velocidade de inferência. A decodificação especulativa apresenta uma estrutura promissora de rascunho e verificação que reduz a latência de geração enquanto mantém a fidelidade da distribuição de saída. No entanto, o modelo de rascunho introduz sobrecarga computacional adicional, tornando-se um gargalo de desempenho e aumentando o tempo para o primeiro token (TTFT). Abordagens anteriores para mitigar a sobrecarga do modelo de rascunho dependiam principalmente de heurísticas e geralmente não conseguiam igualar a qualidade dos modelos de linguagem de rascunho. Para enfrentar esses desafios, propomos o DuoDecoding, uma abordagem inovadora que implanta estrategicamente os modelos de rascunho e alvo na CPU e GPU, respectivamente, permitindo a decodificação paralela enquanto preserva a qualidade do rascunho. Nosso método incorpora um orçamento de rascunho ótimo consciente do hardware para minimizar tempos ociosos e emprega a elaboração dinâmica de múltiplas sequências para melhorar a qualidade do rascunho. Experimentos extensivos em sete tarefas mostram que o DuoDecoding alcança uma aceleração de até 2,61x na latência de geração, enquanto reduz o TTFT para 83% do observado na decodificação especulativa convencional. O código está disponível em https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.