MagicDec: Rompiendo el compromiso entre latencia y rendimiento para la generación de largo contexto con decodificación especulativa.

MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

August 20, 2024

Autores: Jian Chen, Vashisth Tiwari, Ranajoy Sadhukhan, Zhuoming Chen, Jinyuan Shi, Ian En-Hsu Yen, Beidi Chen

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs, por sus siglas en inglés) se han vuelto más comunes en aplicaciones de largo contexto como chatbots interactivos, análisis de documentos y flujos de trabajo de agentes, pero resulta desafiante atender solicitudes de largo contexto con baja latencia y alto rendimiento. La decodificación especulativa (SD) es una técnica ampliamente utilizada para reducir la latencia sin sacrificar el rendimiento, aunque la sabiduría convencional sugiere que su eficacia está limitada a tamaños de lote pequeños. En MagicDec, demostramos que sorprendentemente, la SD puede lograr una aceleración incluso para un régimen de inferencia de alto rendimiento para secuencias moderadas a largas. Más interesante aún, una estrategia de redacción inteligente puede lograr una mayor aceleración con el aumento del tamaño del lote según nuestro análisis riguroso. MagicDec primero identifica los cambios en el cuello de botella con el aumento del tamaño del lote y la longitud de la secuencia, y utiliza estas percepciones para implementar la decodificación especulativa de manera más efectiva para la inferencia de alto rendimiento. Luego, aprovecha modelos de borrador con caché KV dispersa para abordar el cuello de botella KV que escala tanto con la longitud de la secuencia como con el tamaño del lote.

English

Large Language Models (LLMs) have become more prevalent in long-context applications such as interactive chatbots, document analysis, and agent workflows, but it is challenging to serve long-context requests with low latency and high throughput. Speculative decoding (SD) is a widely used technique to reduce latency without sacrificing performance but the conventional wisdom suggests that its efficacy is limited to small batch sizes. In MagicDec, we show that surprisingly SD can achieve speedup even for a high throughput inference regime for moderate to long sequences. More interestingly, an intelligent drafting strategy can achieve better speedup with increasing batch size based on our rigorous analysis. MagicDec first identifies the bottleneck shifts with increasing batch size and sequence length, and uses these insights to deploy speculative decoding more effectively for high throughput inference. Then, it leverages draft models with sparse KV cache to address the KV bottleneck that scales with both sequence length and batch size.