DuoDecoding: Decodificación Especulativa Heterogénea Consciente del Hardware con Redacción Dinámica de Múltiples Secuencias

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Autores: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) exhiben un rendimiento excepcional en una amplia gama de tareas; sin embargo, su proceso de generación autoregresivo token por token limita significativamente la velocidad de inferencia. La decodificación especulativa presenta un marco prometedor de borrador-verificación que reduce la latencia de generación mientras mantiene la fidelidad de la distribución de salida. No obstante, el modelo de borrador introduce una sobrecarga computacional adicional, convirtiéndose en un cuello de botella de rendimiento y aumentando el tiempo hasta el primer token (TTFT, por sus siglas en inglés). Los enfoques anteriores para mitigar la sobrecarga del modelo de borrador se han basado principalmente en heurísticas y, en general, no han logrado igualar la calidad de los modelos de lenguaje de borrador. Para abordar estos desafíos, proponemos DuoDecoding, un enfoque novedoso que despliega estratégicamente los modelos de borrador y objetivo en la CPU y la GPU respectivamente, permitiendo la decodificación en paralelo mientras se preserva la calidad del borrador. Nuestro método incorpora un presupuesto óptimo de borrador consciente del hardware para minimizar los tiempos de inactividad y emplea la creación dinámica de borradores de múltiples secuencias para mejorar la calidad del borrador. Experimentos exhaustivos en siete tareas muestran que DuoDecoding logra una aceleración de hasta 2.61x en la latencia de generación, mientras reduce el TTFT al 83% del observado en la decodificación especulativa convencional. El código está disponible en https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.