MagicDec: Het doorbreken van de Latency-Throughput Afweging voor Generatie van Lange Contexten met Speculatieve Decodering

MagicDec: Breaking the Latency-Throughput Tradeoff for Long Context Generation with Speculative Decoding

August 20, 2024

Auteurs: Jian Chen, Vashisth Tiwari, Ranajoy Sadhukhan, Zhuoming Chen, Jinyuan Shi, Ian En-Hsu Yen, Beidi Chen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in toepassingen met lange contexten, zoals interactieve chatbots, documentanalyse en agentworkflows, maar het is een uitdaging om verzoeken met lange contexten te verwerken met lage latentie en hoge doorvoer. Speculatief decoderen (SD) is een veelgebruikte techniek om latentie te verminderen zonder in te leveren op prestaties, maar de conventionele wijsheid suggereert dat de effectiviteit ervan beperkt is tot kleine batchgroottes. In MagicDec laten we zien dat SD verrassend genoeg zelfs in een regime met hoge doorvoer voor inferentie een versnelling kan bereiken voor matig tot lange sequenties. Nog interessanter is dat een intelligente ontwerpstrategie een betere versnelling kan bereiken bij toenemende batchgrootte, gebaseerd op onze grondige analyse. MagicDec identificeert eerst de knelpunten die verschuiven bij toenemende batchgrootte en sequentielengte, en gebruikt deze inzichten om speculatief decoderen effectiever in te zetten voor inferentie met hoge doorvoer. Vervolgens maakt het gebruik van ontwerpmodellen met een sparse KV-cache om het KV-knelpunt aan te pakken dat schaalt met zowel sequentielengte als batchgrootte.

English

Large Language Models (LLMs) have become more prevalent in long-context applications such as interactive chatbots, document analysis, and agent workflows, but it is challenging to serve long-context requests with low latency and high throughput. Speculative decoding (SD) is a widely used technique to reduce latency without sacrificing performance but the conventional wisdom suggests that its efficacy is limited to small batch sizes. In MagicDec, we show that surprisingly SD can achieve speedup even for a high throughput inference regime for moderate to long sequences. More interestingly, an intelligent drafting strategy can achieve better speedup with increasing batch size based on our rigorous analysis. MagicDec first identifies the bottleneck shifts with increasing batch size and sequence length, and uses these insights to deploy speculative decoding more effectively for high throughput inference. Then, it leverages draft models with sparse KV cache to address the KV bottleneck that scales with both sequence length and batch size.