SepLLM: Acelerar Modelos de Linguagem Grandes Comprimindo Um Segmento em Um Separador

SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator

December 16, 2024

Autores: Guoxuan Chen, Han Shi, Jiawei Li, Yihang Gao, Xiaozhe Ren, Yimeng Chen, Xin Jiang, Zhenguo Li, Weiyang Liu, Chao Huang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado um desempenho excepcional em uma variedade de tarefas de processamento de linguagem natural. No entanto, seus tamanhos substanciais apresentam desafios consideráveis, especialmente em termos de demandas computacionais e velocidade de inferência, devido à sua complexidade quadrática. Neste trabalho, identificamos um padrão-chave: certos tokens especiais aparentemente sem significado (ou seja, separadores) contribuem de forma desproporcional para os escores de atenção em comparação com tokens semanticamente significativos. Essa observação sugere que as informações dos segmentos entre esses tokens separadores podem ser efetivamente condensadas nos próprios tokens separadores sem perda significativa de informações. Orientados por essa percepção, apresentamos o SepLLM, um framework plug-and-play que acelera a inferência comprimindo esses segmentos e eliminando tokens redundantes. Além disso, implementamos kernels eficientes para acelerar o treinamento. Resultados experimentais em configurações sem treinamento, treinamento do zero e pós-treinamento demonstram a eficácia do SepLLM. Notavelmente, utilizando a espinha dorsal Llama-3-8B, o SepLLM alcança mais de 50% de redução no cache KV no benchmark GSM8K-CoT mantendo um desempenho comparável. Além disso, em configurações de streaming, o SepLLM processa efetivamente sequências de até 4 milhões de tokens ou mais mantendo capacidades consistentes de modelagem de linguagem.

English

Large Language Models (LLMs) have exhibited exceptional performance across a spectrum of natural language processing tasks. However, their substantial sizes pose considerable challenges, particularly in computational demands and inference speed, due to their quadratic complexity. In this work, we have identified a key pattern: certain seemingly meaningless special tokens (i.e., separators) contribute disproportionately to attention scores compared to semantically meaningful tokens. This observation suggests that information of the segments between these separator tokens can be effectively condensed into the separator tokens themselves without significant information loss. Guided by this insight, we introduce SepLLM, a plug-and-play framework that accelerates inference by compressing these segments and eliminating redundant tokens. Additionally, we implement efficient kernels for training acceleration. Experimental results across training-free, training-from-scratch, and post-training settings demonstrate SepLLM's effectiveness. Notably, using the Llama-3-8B backbone, SepLLM achieves over 50% reduction in KV cache on the GSM8K-CoT benchmark while maintaining comparable performance. Furthermore, in streaming settings, SepLLM effectively processes sequences of up to 4 million tokens or more while maintaining consistent language modeling capabilities.