Drafteur Récurrent pour un Décodage Spéculatif Rapide dans les Grands Modèles de Langage

Recurrent Drafter for Fast Speculative Decoding in Large Language Models

March 14, 2024

Auteurs: Aonan Zhang, Chong Wang, Yi Wang, Xuanyu Zhang, Yunfei Cheng

cs.AI

Résumé

Dans cet article, nous présentons une approche améliorée du décodage spéculatif visant à accroître l'efficacité du déploiement des grands modèles de langage. Notre méthode tire parti des forces de deux techniques établies : l'approche classique de décodage spéculatif à deux modèles, et l'approche plus récente à modèle unique, Medusa. S'inspirant de Medusa, notre approche adopte une stratégie de décodage spéculatif à modèle unique. Cependant, notre méthode se distingue par l'utilisation d'une seule tête de brouillon légère avec une conception de dépendance récurrente, similaire en essence au petit modèle de brouillon utilisé dans le décodage spéculatif classique, mais sans les complexités de l'architecture complète du transformeur. Grâce à la dépendance récurrente, nous pouvons utiliser la recherche par faisceau pour filtrer rapidement les candidats indésirables avec la tête de brouillon. Le résultat est une méthode qui combine la simplicité de la conception à modèle unique et évite la nécessité de créer une structure d'attention arborescente dépendante des données uniquement pour l'inférence dans Medusa. Nous démontrons empiriquement l'efficacité de la méthode proposée sur plusieurs modèles de langage open source populaires, accompagnée d'une analyse approfondie des compromis impliqués dans l'adoption de cette approche.

English

In this paper, we introduce an improved approach of speculative decoding aimed at enhancing the efficiency of serving large language models. Our method capitalizes on the strengths of two established techniques: the classic two-model speculative decoding approach, and the more recent single-model approach, Medusa. Drawing inspiration from Medusa, our approach adopts a single-model strategy for speculative decoding. However, our method distinguishes itself by employing a single, lightweight draft head with a recurrent dependency design, akin in essence to the small, draft model uses in classic speculative decoding, but without the complexities of the full transformer architecture. And because of the recurrent dependency, we can use beam search to swiftly filter out undesired candidates with the draft head. The outcome is a method that combines the simplicity of single-model design and avoids the need to create a data-dependent tree attention structure only for inference in Medusa. We empirically demonstrate the effectiveness of the proposed method on several popular open source language models, along with a comprehensive analysis of the trade-offs involved in adopting this approach.