Verlustfreie Beschleunigung großer Sprachmodelle mit hierarchischem Entwurf basierend auf zeitlicher Lokalität beim spekulativen Decodieren.

Lossless Acceleration of Large Language Models with Hierarchical Drafting based on Temporal Locality in Speculative Decoding

February 8, 2025

Autoren: Sukmin Cho, Sangjin Choi, Taeho Hwang, Jeongyeon Seo, Soyeong Jeong, Huije Lee, Hoyun Song, Jong C. Park, Youngjin Kwon

cs.AI

Zusammenfassung

Die Beschleunigung der Inferenz in Large Language Models (LLMs) ist entscheidend für Echtzeitinteraktionen, da sie weit verbreitet in Echtzeitdienste integriert wurden. Spekulatives Decodieren, eine vollständig algorithmische Lösung, hat Aufmerksamkeit erregt, um die Inferenzgeschwindigkeit zu verbessern, indem Tokens entworfen und überprüft werden, um so mehrere Tokens in einem einzigen Vorwärtsschritt zu generieren. Allerdings erfordern aktuelle Entwurfsstrategien in der Regel eine umfangreiche Feinabstimmung oder zeigen eine inkonsistente Leistung über verschiedene Aufgaben hinweg. Um diese Herausforderungen anzugehen, schlagen wir Hierarchy Drafting (HD) vor, einen neuartigen verlustfreien Entwurfsansatz, der verschiedene Token-Quellen in mehrere Datenbanken in einem hierarchischen Rahmen basierend auf zeitlicher Lokalität organisiert. Im Entwurfschritt greift HD sequenziell auf mehrere Datenbanken zu, um Entwurfs-Tokens von der höchsten zur niedrigsten Lokalität zu erhalten, wodurch eine konsistente Beschleunigung über verschiedene Aufgaben hinweg sichergestellt und die Entwurfs-Latenz minimiert wird. Unsere Experimente mit Spec-Bench unter Verwendung von LLMs mit 7B und 13B Parametern zeigen, dass HD bestehende Datenbank-Entwurfsverfahren übertrifft und robuste Inferenzbeschleunigungen über Modellgrößen, Aufgaben und Temperaturen hinweg erreicht.

English

Accelerating inference in Large Language Models (LLMs) is critical for real-time interactions, as they have been widely incorporated into real-world services. Speculative decoding, a fully algorithmic solution, has gained attention for improving inference speed by drafting and verifying tokens, thereby generating multiple tokens in a single forward pass. However, current drafting strategies usually require significant fine-tuning or have inconsistent performance across tasks. To address these challenges, we propose Hierarchy Drafting (HD), a novel lossless drafting approach that organizes various token sources into multiple databases in a hierarchical framework based on temporal locality. In the drafting step, HD sequentially accesses multiple databases to obtain draft tokens from the highest to the lowest locality, ensuring consistent acceleration across diverse tasks and minimizing drafting latency. Our experiments on Spec-Bench using LLMs with 7B and 13B parameters demonstrate that HD outperforms existing database drafting methods, achieving robust inference speedups across model sizes, tasks, and temperatures.