XC-Cache: Cross-Attending zur Zwischenspeicherung von Kontext für effiziente LLM-Inferenz

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference

April 23, 2024

papers.authors: João Monteiro, Étienne Marcotte, Pierre-André Noël, Valentina Zantedeschi, David Vázquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

papers.abstract

In-Context Learning (ICL)-Ansätze nutzen in der Regel Aufforderungen, um die Generierung von Sprachmodellen nur durch Decoder auf Referenzinformationen zu konditionieren. Die Echtzeitverarbeitung eines Kontexts ist aufgrund der quadratischen Kosten von Self-Attention-Operationen ineffizient, und ein Zwischenspeichern ist wünschenswert. Das Zwischenspeichern von Transformer-Zuständen kann jedoch leicht fast so viel Platz wie die Modellparameter erfordern. Wenn der richtige Kontext nicht im Voraus bekannt ist, kann das Zwischenspeichern von ICL herausfordernd sein. Diese Arbeit befasst sich mit diesen Einschränkungen, indem sie Modelle einführt, die, inspiriert von der Encoder-Decoder-Architektur, Kreuz-Aufmerksamkeit verwenden, um die Generierung auf Referenztext zu konditionieren, ohne die Aufforderung. Genauer gesagt nutzen wir vortrainierte Decoder-only-Modelle und trainieren nur eine kleine Anzahl von zusätzlichen Schichten. Wir verwenden Frage-Antwort (QA) als Testumgebung, um die Fähigkeit unserer Modelle zur bedingten Generierung zu bewerten, und stellen fest, dass sie ICL übertreffen, vergleichbar mit feinabgestimmten aufgeforderten Sprachmodellen sind und den Speicherplatz im Vergleich zur Standard-KV-Zwischenspeicherung um zwei Größenordnungen drastisch reduzieren.

English

In-context learning (ICL) approaches typically leverage prompting to condition decoder-only language model generation on reference information. Just-in-time processing of a context is inefficient due to the quadratic cost of self-attention operations, and caching is desirable. However, caching transformer states can easily require almost as much space as the model parameters. When the right context isn't known in advance, caching ICL can be challenging. This work addresses these limitations by introducing models that, inspired by the encoder-decoder architecture, use cross-attention to condition generation on reference text without the prompt. More precisely, we leverage pre-trained decoder-only models and only train a small number of added layers. We use Question-Answering (QA) as a testbed to evaluate the ability of our models to perform conditional generation and observe that they outperform ICL, are comparable to fine-tuned prompted LLMs, and drastically reduce the space footprint relative to standard KV caching by two orders of magnitude.