Recurrente Ontwerper voor Snel Speculatief Decoderen in Grote Taalmodellen

Recurrent Drafter for Fast Speculative Decoding in Large Language Models

March 14, 2024

Auteurs: Aonan Zhang, Chong Wang, Yi Wang, Xuanyu Zhang, Yunfei Cheng

cs.AI

Samenvatting

In dit artikel introduceren we een verbeterde aanpak van speculatieve decodering die gericht is op het verhogen van de efficiëntie bij het bedienen van grote taalmodelen. Onze methode maakt gebruik van de sterke punten van twee gevestigde technieken: de klassieke aanpak van speculatieve decodering met twee modellen, en de recentere single-model aanpak, Medusa. Geïnspireerd door Medusa, neemt onze aanpak een single-model strategie aan voor speculatieve decodering. Onze methode onderscheidt zich echter door het gebruik van een enkele, lichtgewicht draft head met een recurrent dependency ontwerp, vergelijkbaar in essentie met het kleine draft model dat wordt gebruikt in klassieke speculatieve decodering, maar zonder de complexiteiten van de volledige transformer-architectuur. En vanwege de recurrent dependency kunnen we beam search gebruiken om snel ongewenste kandidaten uit te filteren met de draft head. Het resultaat is een methode die de eenvoud van het single-model ontwerp combineert en de noodzaak vermijdt om een data-afhankelijke boom-attentiestructuur te creëren, zoals alleen nodig is voor inferentie in Medusa. We demonstreren empirisch de effectiviteit van de voorgestelde methode op verschillende populaire open-source taalmodelen, samen met een uitgebreide analyse van de afwegingen die betrokken zijn bij het toepassen van deze aanpak.

English

In this paper, we introduce an improved approach of speculative decoding aimed at enhancing the efficiency of serving large language models. Our method capitalizes on the strengths of two established techniques: the classic two-model speculative decoding approach, and the more recent single-model approach, Medusa. Drawing inspiration from Medusa, our approach adopts a single-model strategy for speculative decoding. However, our method distinguishes itself by employing a single, lightweight draft head with a recurrent dependency design, akin in essence to the small, draft model uses in classic speculative decoding, but without the complexities of the full transformer architecture. And because of the recurrent dependency, we can use beam search to swiftly filter out undesired candidates with the draft head. The outcome is a method that combines the simplicity of single-model design and avoids the need to create a data-dependent tree attention structure only for inference in Medusa. We empirically demonstrate the effectiveness of the proposed method on several popular open source language models, along with a comprehensive analysis of the trade-offs involved in adopting this approach.