Rekurrenter Entwurf für schnelles spekulatives Dekodieren in großen Sprachmodellen

Recurrent Drafter for Fast Speculative Decoding in Large Language Models

March 14, 2024

Autoren: Aonan Zhang, Chong Wang, Yi Wang, Xuanyu Zhang, Yunfei Cheng

cs.AI

Zusammenfassung

In diesem Paper stellen wir einen verbesserten Ansatz des spekulativen Decodings vor, der darauf abzielt, die Effizienz bei der Bedienung großer Sprachmodelle zu steigern. Unsere Methode nutzt die Stärken zweier etablierter Techniken: des klassischen spekulativen Decoding-Ansatzes mit zwei Modellen und des neueren Ansatzes mit einem Modell, Medusa. Inspiriert von Medusa übernimmt unser Ansatz eine Ein-Modell-Strategie für spekulatives Decoding. Allerdings zeichnet sich unsere Methode durch die Verwendung eines einzigen, leichten Entwurfskopfes mit einem rekurrenten Abhängigkeitsdesign aus, das im Wesentlichen dem kleinen Entwurfsmodell ähnelt, das bei klassischem spekulativem Decoding verwendet wird, jedoch ohne die Komplexitäten der vollen Transformer-Architektur. Und aufgrund der rekurrenten Abhängigkeit können wir mit dem Entwurfskopf die unerwünschten Kandidaten schnell durch Beam Search filtern. Das Ergebnis ist eine Methode, die die Einfachheit des Ein-Modell-Designs kombiniert und es vermeidet, eine datenabhängige Baum-Aufmerksamkeitsstruktur nur für die Inferenz in Medusa zu erstellen. Wir zeigen empirisch die Wirksamkeit der vorgeschlagenen Methode an mehreren beliebten Open-Source-Sprachmodellen, zusammen mit einer umfassenden Analyse der Abwägungen, die bei der Übernahme dieses Ansatzes eine Rolle spielen.

English

In this paper, we introduce an improved approach of speculative decoding aimed at enhancing the efficiency of serving large language models. Our method capitalizes on the strengths of two established techniques: the classic two-model speculative decoding approach, and the more recent single-model approach, Medusa. Drawing inspiration from Medusa, our approach adopts a single-model strategy for speculative decoding. However, our method distinguishes itself by employing a single, lightweight draft head with a recurrent dependency design, akin in essence to the small, draft model uses in classic speculative decoding, but without the complexities of the full transformer architecture. And because of the recurrent dependency, we can use beam search to swiftly filter out undesired candidates with the draft head. The outcome is a method that combines the simplicity of single-model design and avoids the need to create a data-dependent tree attention structure only for inference in Medusa. We empirically demonstrate the effectiveness of the proposed method on several popular open source language models, along with a comprehensive analysis of the trade-offs involved in adopting this approach.