SepLLM: Ускорение больших языковых моделей путем сжатия одного сегмента в один разделитель

SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator

December 16, 2024

Авторы: Guoxuan Chen, Han Shi, Jiawei Li, Yihang Gao, Xiaozhe Ren, Yimeng Chen, Xin Jiang, Zhenguo Li, Weiyang Liu, Chao Huang

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали исключительную производительность в широком спектре задач обработки естественного языка. Однако их значительные размеры представляют существенные вызовы, особенно в вычислительных требованиях и скорости вывода из-за квадратичной сложности. В данной работе мы выявили ключевой паттерн: определенные, казалось бы, бессмысленные специальные токены (т.е. разделители) вносят диспропорциональный вклад в оценки внимания по сравнению с семантически значимыми токенами. Это наблюдение подразумевает, что информацию сегментов между этими разделительными токенами можно эффективно сжать в сами разделительные токены без значительной потери информации. Руководствуясь этими наблюдениями, мы представляем SepLLM - гибкую систему, которая ускоряет вывод, сжимая эти сегменты и устраняя избыточные токены. Кроме того, мы реализуем эффективные ядра для ускорения обучения. Экспериментальные результаты в различных настройках - без обучения, обучение с нуля и после обучения - демонстрируют эффективность SepLLM. Особенно стоит отметить, что, используя базовую модель Llama-3-8B, SepLLM достигает более чем 50% сокращения кэша KV на тесте GSM8K-CoT, сохраняя при этом сопоставимую производительность. Более того, в потоковых настройках SepLLM эффективно обрабатывает последовательности до 4 миллионов токенов и более, сохраняя при этом последовательные возможности моделирования языка.

English

Large Language Models (LLMs) have exhibited exceptional performance across a spectrum of natural language processing tasks. However, their substantial sizes pose considerable challenges, particularly in computational demands and inference speed, due to their quadratic complexity. In this work, we have identified a key pattern: certain seemingly meaningless special tokens (i.e., separators) contribute disproportionately to attention scores compared to semantically meaningful tokens. This observation suggests that information of the segments between these separator tokens can be effectively condensed into the separator tokens themselves without significant information loss. Guided by this insight, we introduce SepLLM, a plug-and-play framework that accelerates inference by compressing these segments and eliminating redundant tokens. Additionally, we implement efficient kernels for training acceleration. Experimental results across training-free, training-from-scratch, and post-training settings demonstrate SepLLM's effectiveness. Notably, using the Llama-3-8B backbone, SepLLM achieves over 50% reduction in KV cache on the GSM8K-CoT benchmark while maintaining comparable performance. Furthermore, in streaming settings, SepLLM effectively processes sequences of up to 4 million tokens or more while maintaining consistent language modeling capabilities.