Verliesloze Versnelling van Grote Taalmodellen met Hiërarchische Conceptie op Basis van Temporale Lokaliteit in Speculatief Decoderen

Lossless Acceleration of Large Language Models with Hierarchical Drafting based on Temporal Locality in Speculative Decoding

February 8, 2025

Auteurs: Sukmin Cho, Sangjin Choi, Taeho Hwang, Jeongyeon Seo, Soyeong Jeong, Huije Lee, Hoyun Song, Jong C. Park, Youngjin Kwon

cs.AI

Samenvatting

Het versnellen van inferentie in Grote Taalmodellen (LLM's) is cruciaal voor real-time interacties, aangezien ze wijdverspreid zijn geïntegreerd in diensten in de echte wereld. Speculatieve decodering, een volledig algoritmische oplossing, heeft aandacht gekregen voor het verbeteren van de inferentiesnelheid door het opstellen en verifiëren van tokens, waardoor meerdere tokens worden gegenereerd in één voorwaartse doorgang. Huidige opstelstrategieën vereisen echter meestal aanzienlijke fijnafstemming of hebben inconsistente prestaties over verschillende taken. Om deze uitdagingen aan te pakken, stellen wij Hiërarchisch Opstellen (HD) voor, een nieuw verliesloze opstelbenadering die verschillende tokenbronnen organiseert in meerdere databases in een hiërarchisch kader op basis van temporele lokaliteit. In de opstelfase benadert HD sequentieel meerdere databases om concepttokens te verkrijgen van de hoogste naar de laagste lokaliteit, waarbij consistente versnelling over diverse taken wordt gegarandeerd en de opstelvertraging wordt geminimaliseerd. Onze experimenten op Spec-Bench met LLM's met 7B en 13B parameters tonen aan dat HD beter presteert dan bestaande database-opstelmethoden, met robuuste versnellingen van de inferentie over modelgroottes, taken en temperaturen.

English

Accelerating inference in Large Language Models (LLMs) is critical for real-time interactions, as they have been widely incorporated into real-world services. Speculative decoding, a fully algorithmic solution, has gained attention for improving inference speed by drafting and verifying tokens, thereby generating multiple tokens in a single forward pass. However, current drafting strategies usually require significant fine-tuning or have inconsistent performance across tasks. To address these challenges, we propose Hierarchy Drafting (HD), a novel lossless drafting approach that organizes various token sources into multiple databases in a hierarchical framework based on temporal locality. In the drafting step, HD sequentially accesses multiple databases to obtain draft tokens from the highest to the lowest locality, ensuring consistent acceleration across diverse tasks and minimizing drafting latency. Our experiments on Spec-Bench using LLMs with 7B and 13B parameters demonstrate that HD outperforms existing database drafting methods, achieving robust inference speedups across model sizes, tasks, and temperatures.