XC-Cache: Cross-Attending ai contesti memorizzati per un'inferenza efficiente nei LLM

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference

April 23, 2024

Autori: João Monteiro, Étienne Marcotte, Pierre-André Noël, Valentina Zantedeschi, David Vázquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Abstract

Gli approcci di apprendimento in contesto (In-context Learning, ICL) tipicamente sfruttano il prompting per condizionare la generazione di modelli linguistici decoder-only su informazioni di riferimento. L'elaborazione just-in-time di un contesto è inefficiente a causa del costo quadratico delle operazioni di self-attention, rendendo desiderabile l'uso della memorizzazione nella cache. Tuttavia, memorizzare gli stati del transformer può facilmente richiedere quasi tanto spazio quanto i parametri del modello. Quando il contesto corretto non è noto in anticipo, la memorizzazione nella cache per l'ICL può essere impegnativa. Questo lavoro affronta queste limitazioni introducendo modelli che, ispirati dall'architettura encoder-decoder, utilizzano la cross-attention per condizionare la generazione su un testo di riferimento senza il prompt. Più precisamente, sfruttiamo modelli decoder-only pre-addestrati e addestriamo solo un piccolo numero di livelli aggiuntivi. Utilizziamo il Question-Answering (QA) come banco di prova per valutare la capacità dei nostri modelli di eseguire la generazione condizionata e osserviamo che superano l'ICL, sono comparabili ai LLM con prompt fine-tuned e riducono drasticamente l'impronta spaziale rispetto alla memorizzazione standard KV di due ordini di grandezza.

English

In-context learning (ICL) approaches typically leverage prompting to condition decoder-only language model generation on reference information. Just-in-time processing of a context is inefficient due to the quadratic cost of self-attention operations, and caching is desirable. However, caching transformer states can easily require almost as much space as the model parameters. When the right context isn't known in advance, caching ICL can be challenging. This work addresses these limitations by introducing models that, inspired by the encoder-decoder architecture, use cross-attention to condition generation on reference text without the prompt. More precisely, we leverage pre-trained decoder-only models and only train a small number of added layers. We use Question-Answering (QA) as a testbed to evaluate the ability of our models to perform conditional generation and observe that they outperform ICL, are comparable to fine-tuned prompted LLMs, and drastically reduce the space footprint relative to standard KV caching by two orders of magnitude.