Clover : Décodage spéculatif régressif léger avec connaissance séquentielle

Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge

May 1, 2024

Auteurs: Bin Xiao, Chunan Shi, Xiaonan Nie, Fan Yang, Xiangwei Deng, Lei Su, Weipeng Chen, Bin Cui

cs.AI

Résumé

Les grands modèles de langage (LLMs) souffrent d'une faible efficacité en raison de l'inadéquation entre les exigences du décodage auto-régressif et la conception de la plupart des GPU contemporains. Plus précisément, des milliards à des billions de paramètres doivent être chargés dans le cache du GPU via sa bande passante mémoire limitée pour le calcul, mais seule une petite quantité de tokens est réellement calculée. Par conséquent, le GPU passe la majeure partie de son temps à transférer des données plutôt qu'à effectuer des calculs. Récemment, le décodage parallèle, un type d'algorithme de décodage spéculatif, gagne en popularité et a démontré une amélioration impressionnante de l'efficacité dans la génération. Il introduit des têtes de décodage supplémentaires aux grands modèles, leur permettant de prédire plusieurs tokens suivants simultanément et de vérifier ces candidats de continuation en une seule étape de décodage. Cependant, cette approche s'écarte de l'objectif d'entraînement de prédiction du token suivant utilisé lors du pré-entraînement, ce qui entraîne un faible taux de réussite pour les tokens candidats. Dans cet article, nous proposons un nouvel algorithme de décodage spéculatif, Clover, qui intègre des connaissances séquentielles dans le processus de décodage parallèle. Cette amélioration augmente le taux de réussite des spéculateurs et ainsi booste l'efficacité globale. Clover transmet les connaissances séquentielles des tokens pré-spéculés via la Connexion Régressive, puis utilise un Décodeur d'Attention pour intégrer ces tokens spéculés. De plus, Clover intègre un Bloc d'Augmentation qui modifie les états cachés pour mieux les aligner avec l'objectif de génération spéculative plutôt que de prédiction du token suivant. Les résultats des expériences montrent que Clover surpasse la référence jusqu'à 91% sur Baichuan-Small et 146% sur Baichuan-Large, respectivement, et dépasse les performances de la méthode précédemment la plus performante, Medusa, jusqu'à 37% sur Baichuan-Small et 57% sur Baichuan-Large, respectivement.

English

Large language models (LLMs) suffer from low efficiency as the mismatch between the requirement of auto-regressive decoding and the design of most contemporary GPUs. Specifically, billions to trillions of parameters must be loaded to the GPU cache through its limited memory bandwidth for computation, but only a small batch of tokens is actually computed. Consequently, the GPU spends most of its time on memory transfer instead of computation. Recently, parallel decoding, a type of speculative decoding algorithms, is becoming more popular and has demonstrated impressive efficiency improvement in generation. It introduces extra decoding heads to large models, enabling them to predict multiple subsequent tokens simultaneously and verify these candidate continuations in a single decoding step. However, this approach deviates from the training objective of next token prediction used during pre-training, resulting in a low hit rate for candidate tokens. In this paper, we propose a new speculative decoding algorithm, Clover, which integrates sequential knowledge into the parallel decoding process. This enhancement improves the hit rate of speculators and thus boosts the overall efficiency. Clover transmits the sequential knowledge from pre-speculated tokens via the Regressive Connection, then employs an Attention Decoder to integrate these speculated tokens. Additionally, Clover incorporates an Augmenting Block that modifies the hidden states to better align with the purpose of speculative generation rather than next token prediction. The experiment results demonstrate that Clover outperforms the baseline by up to 91% on Baichuan-Small and 146% on Baichuan-Large, respectively, and exceeds the performance of the previously top-performing method, Medusa, by up to 37% on Baichuan-Small and 57% on Baichuan-Large, respectively.