Rascunho Especulativo em Cascata para Inferência de LLM Ainda Mais Rápida

Cascade Speculative Drafting for Even Faster LLM Inference

December 18, 2023

Autores: Ziyi Chen, Xiaocong Yang, Jiacheng Lin, Chenkai Sun, Jie Huang, Kevin Chen-Chuan Chang

cs.AI

Resumo

A decodificação especulativa aumenta a eficiência dos modelos de linguagem de grande escala (LLMs) ao utilizar um modelo de rascunho para gerar propostas que são revisadas por um modelo alvo maior. No entanto, a geração de rascunhos na decodificação especulativa envolve uma geração autoregressiva lenta e a alocação de tempo igual para tokens de diferentes importâncias. Essas duas ineficiências resultam em um desempenho subótimo. Para resolver esse problema, introduzimos a Geração de Rascunho Especulativa em Cascata (CS. Drafting), uma abordagem inovadora que emprega dois tipos de cascatas. A Cascata Vertical elimina a geração autoregressiva dos modelos neurais. A Cascata Horizontal estabelece uma alocação eficiente de tempo na geração de rascunhos, com sua otimalidade respaldada por nossa análise teórica. Combinando ambas as cascatas, nosso algoritmo CS. Drafting alcançou um aumento de velocidade adicional de até 72% em relação à decodificação especulativa em nossos experimentos, mantendo a mesma distribuição de saída.

English

Speculative decoding enhances the efficiency of large language models (LLMs) by leveraging a draft model to draft for a larger target model to review. However, drafting in speculative decoding involves slow autoregressive generation and generating tokens of different importance with the same time allocation. These two inefficiencies lead to its suboptimal performance. To address this issue, we introduce Cascade Speculative Drafting (CS. Drafting), a novel approach that employs two types of cascades. The Vertical Cascade eliminates autoregressive generation from neural models. The Horizontal Cascade constitutes efficient time allocation in drafting with its optimality supported by our theoretical analysis. Combining both cascades, our CS. Drafting algorithm has achieved up to 72 percent additional speedup over speculative decoding in our experiments while keeping the same output distribution.