Финч: сжатие кеша ключ-значение под управлением подсказок

Finch: Prompt-guided Key-Value Cache Compression

July 31, 2024

Авторы: Giulio Corallo, Paolo Papotti

cs.AI

Аннотация

Недавние приложения больших языковых моделей, такие как "Получение с увеличением памяти" и чат-боты, привели к увеличенной необходимости обработки более длинных входных контекстов. Однако это требование затрудняется внутренними ограничениями. С точки зрения архитектуры модели ограничены окном контекста, определенным во время обучения. Кроме того, обработка обширных текстов требует значительной памяти GPU. Мы предлагаем новый подход, Finch, для сжатия входного контекста путем использования весов предварительно обученной модели самовнимания. Учитывая подсказку и длинный текст, Finch итеративно определяет наиболее релевантные пары Ключ (K) и Значение (V) по частям текста, зависящим от подсказки. Только такие пары хранятся в кэше KV, который, в пределах пространства, ограниченного окном контекста, в конечном итоге содержит сжатую версию длинного текста. Наше предложение позволяет моделям обрабатывать большие входы даже с высокой степенью сжатия (до 93 раз) при сохранении семантической целостности без необходимости тонкой настройки.

English

Recent large language model applications, such as Retrieval-Augmented Generation and chatbots, have led to an increased need to process longer input contexts. However, this requirement is hampered by inherent limitations. Architecturally, models are constrained by a context window defined during training. Additionally, processing extensive texts requires substantial GPU memory. We propose a novel approach, Finch, to compress the input context by leveraging the pre-trained model weights of the self-attention. Given a prompt and a long text, Finch iteratively identifies the most relevant Key (K) and Value (V) pairs over chunks of the text conditioned on the prompt. Only such pairs are stored in the KV cache, which, within the space constrained by the context window, ultimately contains a compressed version of the long text. Our proposal enables models to consume large inputs even with high compression (up to 93x) while preserving semantic integrity without the need for fine-tuning.