Finch: Prompt-gestuurde compressie van key-value cache

Finch: Prompt-guided Key-Value Cache Compression

July 31, 2024

Auteurs: Giulio Corallo, Paolo Papotti

cs.AI

Samenvatting

Recente toepassingen van grote taalmodellen, zoals Retrieval-Augmented Generation en chatbots, hebben geleid tot een grotere behoefte aan het verwerken van langere invoercontexten. Deze vereiste wordt echter belemmerd door inherente beperkingen. Architectonisch zijn modellen beperkt door een contextvenster dat tijdens de training is gedefinieerd. Bovendien vereist het verwerken van uitgebreide teksten aanzienlijk GPU-geheugen. Wij stellen een nieuwe benadering voor, genaamd Finch, om de invoercontext te comprimeren door gebruik te maken van de vooraf getrainde modelgewichten van de self-attention. Gegeven een prompt en een lange tekst, identificeert Finch iteratief de meest relevante Key (K) en Value (V) paren over segmenten van de tekst, geconditioneerd op de prompt. Alleen dergelijke paren worden opgeslagen in de KV-cache, die, binnen de ruimte die wordt beperkt door het contextvenster, uiteindelijk een gecomprimeerde versie van de lange tekst bevat. Ons voorstel stelt modellen in staat om grote invoeren te verwerken, zelfs bij hoge compressie (tot 93x), terwijl de semantische integriteit behouden blijft zonder dat fine-tuning nodig is.

English

Recent large language model applications, such as Retrieval-Augmented Generation and chatbots, have led to an increased need to process longer input contexts. However, this requirement is hampered by inherent limitations. Architecturally, models are constrained by a context window defined during training. Additionally, processing extensive texts requires substantial GPU memory. We propose a novel approach, Finch, to compress the input context by leveraging the pre-trained model weights of the self-attention. Given a prompt and a long text, Finch iteratively identifies the most relevant Key (K) and Value (V) pairs over chunks of the text conditioned on the prompt. Only such pairs are stored in the KV cache, which, within the space constrained by the context window, ultimately contains a compressed version of the long text. Our proposal enables models to consume large inputs even with high compression (up to 93x) while preserving semantic integrity without the need for fine-tuning.