Aceleração sem perdas de Modelos de Linguagem Grandes com Rascunho Hierárquico baseado em Localidade Temporal na Decodificação Especulativa

Lossless Acceleration of Large Language Models with Hierarchical Drafting based on Temporal Locality in Speculative Decoding

February 8, 2025

Autores: Sukmin Cho, Sangjin Choi, Taeho Hwang, Jeongyeon Seo, Soyeong Jeong, Huije Lee, Hoyun Song, Jong C. Park, Youngjin Kwon

cs.AI

Resumo

Acelerar a inferência em Modelos de Linguagem Grandes (LLMs) é crucial para interações em tempo real, uma vez que foram amplamente incorporados em serviços do mundo real. A decodificação especulativa, uma solução totalmente algorítmica, tem recebido atenção para melhorar a velocidade de inferência ao rascunhar e verificar tokens, gerando assim múltiplos tokens em uma única passagem direta. No entanto, as estratégias de rascunho atuais geralmente exigem ajustes significativos ou têm desempenho inconsistente em diferentes tarefas. Para enfrentar esses desafios, propomos o Rascunho Hierárquico (HD), uma abordagem de rascunho inédita e sem perdas que organiza várias fontes de tokens em múltiplos bancos de dados em um framework hierárquico com base na localidade temporal. Na etapa de rascunho, o HD acessa sequencialmente múltiplos bancos de dados para obter tokens de rascunho da localidade mais alta para a mais baixa, garantindo aceleração consistente em diversas tarefas e minimizando a latência de rascunho. Nossos experimentos no Spec-Bench usando LLMs com 7B e 13B de parâmetros demonstram que o HD supera os métodos de rascunho de bancos de dados existentes, alcançando melhorias robustas na velocidade de inferência em diferentes tamanhos de modelo, tarefas e temperaturas.

English

Accelerating inference in Large Language Models (LLMs) is critical for real-time interactions, as they have been widely incorporated into real-world services. Speculative decoding, a fully algorithmic solution, has gained attention for improving inference speed by drafting and verifying tokens, thereby generating multiple tokens in a single forward pass. However, current drafting strategies usually require significant fine-tuning or have inconsistent performance across tasks. To address these challenges, we propose Hierarchy Drafting (HD), a novel lossless drafting approach that organizes various token sources into multiple databases in a hierarchical framework based on temporal locality. In the drafting step, HD sequentially accesses multiple databases to obtain draft tokens from the highest to the lowest locality, ensuring consistent acceleration across diverse tasks and minimizing drafting latency. Our experiments on Spec-Bench using LLMs with 7B and 13B parameters demonstrate that HD outperforms existing database drafting methods, achieving robust inference speedups across model sizes, tasks, and temperatures.