XC-Cache: Atendimento Cruzado a Contexto em Cache para Inferência Eficiente de LLM

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference

April 23, 2024

Autores: João Monteiro, Étienne Marcotte, Pierre-André Noël, Valentina Zantedeschi, David Vázquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Resumo

Abordagens de aprendizado em contexto (ICL, na sigla em inglês) geralmente utilizam técnicas de _prompting_ para condicionar a geração de modelos de linguagem _decoder-only_ com base em informações de referência. O processamento em tempo real de um contexto é ineficiente devido ao custo quadrático das operações de auto-atenção, tornando o armazenamento em cache desejável. No entanto, o armazenamento em cache dos estados do _transformer_ pode facilmente exigir quase tanto espaço quanto os parâmetros do modelo. Quando o contexto correto não é conhecido antecipadamente, o armazenamento em cache para ICL pode ser desafiador. Este trabalho aborda essas limitações ao introduzir modelos que, inspirados na arquitetura _encoder-decoder_, utilizam atenção cruzada para condicionar a geração em texto de referência sem o uso de _prompts_. Mais precisamente, aproveitamos modelos _decoder-only_ pré-treinados e treinamos apenas um pequeno número de camadas adicionais. Utilizamos tarefas de Pergunta-Resposta (QA) como um ambiente de teste para avaliar a capacidade de nossos modelos de realizar geração condicional e observamos que eles superam o ICL, são comparáveis a LLMs ajustados com _prompts_ e reduzem drasticamente a pegada de espaço em relação ao armazenamento padrão de chave-valor (KV) em duas ordens de magnitude.

English

In-context learning (ICL) approaches typically leverage prompting to condition decoder-only language model generation on reference information. Just-in-time processing of a context is inefficient due to the quadratic cost of self-attention operations, and caching is desirable. However, caching transformer states can easily require almost as much space as the model parameters. When the right context isn't known in advance, caching ICL can be challenging. This work addresses these limitations by introducing models that, inspired by the encoder-decoder architecture, use cross-attention to condition generation on reference text without the prompt. More precisely, we leverage pre-trained decoder-only models and only train a small number of added layers. We use Question-Answering (QA) as a testbed to evaluate the ability of our models to perform conditional generation and observe that they outperform ICL, are comparable to fine-tuned prompted LLMs, and drastically reduce the space footprint relative to standard KV caching by two orders of magnitude.