Spekulatives Streaming: Schnelle LLM-Inferenz ohne Hilfsmodelle

Speculative Streaming: Fast LLM Inference without Auxiliary Models

February 16, 2024

papers.authors: Nikhil Bhendawade, Irina Belousova, Qichen Fu, Henry Mason, Mohammad Rastegari, Mahyar Najibi

cs.AI

papers.abstract

Spekulatives Decodieren ist eine bekannte Technik, um die Inferenz eines großen Zielsprachmodells durch Vorhersagen eines Hilfsentwurfsmodells zu beschleunigen. Obwohl effektiv, erfordert es in anwendungsspezifischen Kontexten oft das Feinabstimmen sowohl des Entwurfs- als auch des Zielmodells, um hohe Akzeptanzraten zu erreichen. Mit der Zunahme der nachgelagerten Aufgaben fügen diese Entwurfsmodelle den Inferenzsystemen erhebliche Komplexität hinzu. Wir schlagen Speculative Streaming vor, eine Einzelmodell-Methode für spekulatives Decodieren, die das Entwerfen in das Zielmodell integriert, indem das Feinabstimmungsziel von der Vorhersage des nächsten Tokens auf die Vorhersage zukünftiger n-Gramme umgestellt wird. Speculative Streaming beschleunigt das Decodieren um das 1,8- bis 3,1-fache in einer Vielzahl von Aufgaben wie Zusammenfassung, strukturierte Abfragen und Bedeutungsrepräsentation, ohne die Generierungsqualität zu beeinträchtigen. Zudem ist Speculative Streaming parameter-effizient. Es erreicht vergleichbare oder höhere Beschleunigungen als Medusa-ähnliche Architekturen, während es etwa 10.000-mal weniger zusätzliche Parameter verwendet, was es besonders gut für ressourcenbeschränkte Geräte geeignet macht.

English

Speculative decoding is a prominent technique to speed up the inference of a large target language model based on predictions of an auxiliary draft model. While effective, in application-specific settings, it often involves fine-tuning both draft and target models to achieve high acceptance rates. As the number of downstream tasks grows, these draft models add significant complexity to inference systems. We propose Speculative Streaming, a single-model speculative decoding method that fuses drafting into the target model by changing the fine-tuning objective from next token prediction to future n-gram prediction. Speculative Streaming speeds up decoding by 1.8 - 3.1X in a diverse set of tasks, such as Summarization, Structured Queries, and Meaning Representation, without sacrificing generation quality. Additionally, Speculative Streaming is parameter-efficient. It achieves on-par/higher speed-ups than Medusa-style architectures while using ~10000X fewer extra parameters, making it well-suited for resource-constrained devices.