Clover: Decodificação Especulativa Leve e Regressiva com Conhecimento Sequencial

Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge

May 1, 2024

Autores: Bin Xiao, Chunan Shi, Xiaonan Nie, Fan Yang, Xiangwei Deng, Lei Su, Weipeng Chen, Bin Cui

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) sofrem com baixa eficiência devido ao descompasso entre a exigência de decodificação autorregressiva e o design da maioria das GPUs contemporâneas. Especificamente, bilhões a trilhões de parâmetros precisam ser carregados para o cache da GPU através de sua limitada largura de banda de memória para computação, mas apenas um pequeno lote de tokens é realmente processado. Consequentemente, a GPU passa a maior parte do tempo transferindo dados em vez de realizar cálculos. Recentemente, a decodificação paralela, um tipo de algoritmo de decodificação especulativa, tem se tornado mais popular e demonstrou melhorias impressionantes na eficiência de geração. Ela introduz cabeças de decodificação adicionais aos grandes modelos, permitindo que prevejam múltiplos tokens subsequentes simultaneamente e verifiquem essas continuações candidatas em uma única etapa de decodificação. No entanto, essa abordagem se desvia do objetivo de treinamento de previsão do próximo token usado durante o pré-treinamento, resultando em uma baixa taxa de acerto para os tokens candidatos. Neste artigo, propomos um novo algoritmo de decodificação especulativa, o Clover, que integra conhecimento sequencial ao processo de decodificação paralela. Esse aprimoramento aumenta a taxa de acerto dos especuladores e, assim, melhora a eficiência geral. O Clover transmite o conhecimento sequencial de tokens pré-especulados por meio da Conexão Regressiva e, em seguida, utiliza um Decodificador de Atenção para integrar esses tokens especulados. Além disso, o Clover incorpora um Bloco de Aumento que modifica os estados ocultos para melhor alinhá-los ao propósito de geração especulativa, em vez de previsão do próximo token. Os resultados dos experimentos demonstram que o Clover supera a linha de base em até 91% no Baichuan-Small e 146% no Baichuan-Large, respectivamente, e excede o desempenho do método anteriormente mais eficiente, o Medusa, em até 37% no Baichuan-Small e 57% no Baichuan-Large, respectivamente.

English

Large language models (LLMs) suffer from low efficiency as the mismatch between the requirement of auto-regressive decoding and the design of most contemporary GPUs. Specifically, billions to trillions of parameters must be loaded to the GPU cache through its limited memory bandwidth for computation, but only a small batch of tokens is actually computed. Consequently, the GPU spends most of its time on memory transfer instead of computation. Recently, parallel decoding, a type of speculative decoding algorithms, is becoming more popular and has demonstrated impressive efficiency improvement in generation. It introduces extra decoding heads to large models, enabling them to predict multiple subsequent tokens simultaneously and verify these candidate continuations in a single decoding step. However, this approach deviates from the training objective of next token prediction used during pre-training, resulting in a low hit rate for candidate tokens. In this paper, we propose a new speculative decoding algorithm, Clover, which integrates sequential knowledge into the parallel decoding process. This enhancement improves the hit rate of speculators and thus boosts the overall efficiency. Clover transmits the sequential knowledge from pre-speculated tokens via the Regressive Connection, then employs an Attention Decoder to integrate these speculated tokens. Additionally, Clover incorporates an Augmenting Block that modifies the hidden states to better align with the purpose of speculative generation rather than next token prediction. The experiment results demonstrate that Clover outperforms the baseline by up to 91% on Baichuan-Small and 146% on Baichuan-Large, respectively, and exceeds the performance of the previously top-performing method, Medusa, by up to 37% on Baichuan-Small and 57% on Baichuan-Large, respectively.