SlimSpec: Cabeça de LM de Rascunho de Baixo Posto para Decodificação Especulativa Acelerada

Resumo

A decodificação especulativa acelera a geração autorregressiva em Modelos de Linguagem de Grande Escala (LLMs) por meio de um procedimento em duas etapas, no qual um modelo rascunho leve propõe tokens que o modelo alvo verifica em uma única passagem direta. Embora a rede rascunho seja pequena nas arquiteturas modernas, sua cabeça LM ainda realiza projeção para um vocabulário grande, tornando-se um dos principais gargalos computacionais. Em trabalhos anteriores, essa questão foi predominantemente abordada por meio de truncamento de vocabulário estático ou dinâmico. No entanto, ao mitigar o gargalo, esses métodos trazem complexidade adicional, como curadoria especial de vocabulário, lógica sofisticada em tempo de inferência ou modificações na configuração do treinamento. Neste artigo, propomos o SlimSpec, uma parametrização de baixo posto da cabeça LM do rascunho que comprime a representação interna em vez da saída, preservando o suporte completo ao vocabulário. Avaliamos nosso método com o rascunho EAGLE-3 em três modelos alvo e diversos benchmarks, tanto em regimes de inferência limitados por latência quanto por vazão. O SlimSpec alcança uma aceleração de 4 a 5 vezes em relação à arquitetura padrão de cabeça LM, mantendo um comprimento de aceitação competitivo, superando os métodos existentes em até 8 a 9% de aceleração ponta a ponta. Nosso método requer ajustes mínimos nos pipelines de treinamento e inferência. Combinado com as melhorias de aceleração mencionadas, isso torna o SlimSpec uma forte alternativa para uma ampla variedade de arquiteturas de cabeça LM de rascunho.

English

Speculative decoding speeds up autoregressive generation in Large Language Models (LLMs) through a two-step procedure, where a lightweight draft model proposes tokens which the target model then verifies in a single forward pass. Although the drafter network is small in modern architectures, its LM-head still performs projection to a large vocabulary, becoming one of the major computational bottlenecks. In prior work this issue has been predominantly addressed via static or dynamic vocabulary truncation. Yet mitigating the bottleneck, these methods bring in extra complexity, such as special vocabulary curation, sophisticated inference-time logic or modifications of the training setup. In this paper, we propose SlimSpec, a low-rank parameterization of the drafter's LM-head that compresses the inner representation rather than the output, preserving full vocabulary support. We evaluate our method with EAGLE-3 drafter across three target models and diverse benchmarks in both latency- and throughput-bound inference regimes. SlimSpec achieves 4-5times acceleration over the standard LM-head architecture while maintaining a competitive acceptance length, surpassing existing methods by up to 8-9% of the end-to-end speedup. Our method requires minimal adjustments of training and inference pipelines. Combined with the aforementioned speedup improvements, it makes SlimSpec a strong alternative across wide variety of draft LM-head architectures.