MagicDec : Rompre le compromis latence-débit pour la génération de longs contextes avec le décodage spéculatif

MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

August 20, 2024

Auteurs: Jian Chen, Vashisth Tiwari, Ranajoy Sadhukhan, Zhuoming Chen, Jinyuan Shi, Ian En-Hsu Yen, Beidi Chen

cs.AI

Résumé

Les grands modèles de langage (LLM) sont devenus de plus en plus courants dans les applications à long contexte telles que les chatbots interactifs, l'analyse de documents et les flux de travail des agents, mais il est difficile de répondre aux demandes à long contexte avec une faible latence et un débit élevé. Le décodage spéculatif (SD) est une technique largement utilisée pour réduire la latence sans compromettre les performances, mais la sagesse conventionnelle suggère que son efficacité est limitée aux petites tailles de lots. Dans MagicDec, nous montrons que, de manière surprenante, le SD peut accélérer même pour un régime d'inférence à débit élevé pour des séquences de longueur modérée à longue. Plus intéressant encore, une stratégie de rédaction intelligente peut obtenir une meilleure accélération avec l'augmentation de la taille du lot selon notre analyse rigoureuse. MagicDec identifie d'abord les changements de goulot d'étranglement avec l'augmentation de la taille du lot et de la longueur de séquence, et utilise ces informations pour déployer le décodage spéculatif de manière plus efficace pour l'inférence à débit élevé. Ensuite, il exploite des modèles de brouillon avec un cache KV clairsemé pour résoudre le goulot d'étranglement KV qui évolue avec à la fois la longueur de séquence et la taille du lot.

English

Large Language Models (LLMs) have become more prevalent in long-context applications such as interactive chatbots, document analysis, and agent workflows, but it is challenging to serve long-context requests with low latency and high throughput. Speculative decoding (SD) is a widely used technique to reduce latency without sacrificing performance but the conventional wisdom suggests that its efficacy is limited to small batch sizes. In MagicDec, we show that surprisingly SD can achieve speedup even for a high throughput inference regime for moderate to long sequences. More interestingly, an intelligent drafting strategy can achieve better speedup with increasing batch size based on our rigorous analysis. MagicDec first identifies the bottleneck shifts with increasing batch size and sequence length, and uses these insights to deploy speculative decoding more effectively for high throughput inference. Then, it leverages draft models with sparse KV cache to address the KV bottleneck that scales with both sequence length and batch size.