SepLLM : Accélérer les grands modèles de langage en comprimant un segment en un séparateur

SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator

December 16, 2024

Auteurs: Guoxuan Chen, Han Shi, Jiawei Li, Yihang Gao, Xiaozhe Ren, Yimeng Chen, Xin Jiang, Zhenguo Li, Weiyang Liu, Chao Huang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont montré des performances exceptionnelles dans une variété de tâches de traitement automatique du langage naturel. Cependant, leurs tailles substantielles posent des défis considérables, notamment en termes d'exigences computationnelles et de vitesse d'inférence, en raison de leur complexité quadratique. Dans ce travail, nous avons identifié un schéma clé : certains jetons spéciaux apparemment sans signification (c'est-à-dire, des séparateurs) contribuent de manière disproportionnée aux scores d'attention par rapport aux jetons sémantiquement significatifs. Cette observation suggère que les informations des segments entre ces jetons séparateurs peuvent être efficacement condensées dans les jetons séparateurs eux-mêmes sans perte significative d'informations. Guidés par cette intuition, nous introduisons SepLLM, un cadre plug-and-play qui accélère l'inférence en compressant ces segments et en éliminant les jetons redondants. De plus, nous mettons en œuvre des noyaux efficaces pour l'accélération de l'entraînement. Les résultats expérimentaux dans des configurations sans entraînement, avec entraînement à partir de zéro et en post-entraînement démontrent l'efficacité de SepLLM. Notamment, en utilisant l'épine dorsale Llama-3-8B, SepLLM obtient une réduction de plus de 50 % du cache KV sur le banc d'essai GSM8K-CoT tout en maintenant des performances comparables. De plus, dans des configurations de flux, SepLLM traite efficacement des séquences allant jusqu'à 4 millions de jetons ou plus tout en conservant des capacités de modélisation linguistique cohérentes.

English

Large Language Models (LLMs) have exhibited exceptional performance across a spectrum of natural language processing tasks. However, their substantial sizes pose considerable challenges, particularly in computational demands and inference speed, due to their quadratic complexity. In this work, we have identified a key pattern: certain seemingly meaningless special tokens (i.e., separators) contribute disproportionately to attention scores compared to semantically meaningful tokens. This observation suggests that information of the segments between these separator tokens can be effectively condensed into the separator tokens themselves without significant information loss. Guided by this insight, we introduce SepLLM, a plug-and-play framework that accelerates inference by compressing these segments and eliminating redundant tokens. Additionally, we implement efficient kernels for training acceleration. Experimental results across training-free, training-from-scratch, and post-training settings demonstrate SepLLM's effectiveness. Notably, using the Llama-3-8B backbone, SepLLM achieves over 50% reduction in KV cache on the GSM8K-CoT benchmark while maintaining comparable performance. Furthermore, in streaming settings, SepLLM effectively processes sequences of up to 4 million tokens or more while maintaining consistent language modeling capabilities.