XC-Cache: Перекрестное внимание к кэшированному контексту для эффективного вывода LLM

XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference

April 23, 2024

Авторы: João Monteiro, Étienne Marcotte, Pierre-André Noël, Valentina Zantedeschi, David Vázquez, Nicolas Chapados, Christopher Pal, Perouz Taslakian

cs.AI

Аннотация

Подходы к обучению в контексте (ICL) обычно используют подсказки для условного обучения языковых моделей только декодера на справочной информации. Обработка контекста в режиме реального времени неэффективна из-за квадратичной сложности операций самовнимания, и желательно использование кэширования. Однако кэширование состояний трансформера может легко потребовать почти столько же места, сколько параметры модели. Когда правильный контекст заранее неизвестен, кэширование ICL может быть вызовом. В данной работе рассматриваются эти ограничения путем введения моделей, которые, вдохновленные архитектурой кодировщик-декодировщик, используют кросс-внимание для условного обучения на справочном тексте без подсказки. Более точно, мы используем предварительно обученные модели только декодера и обучаем только небольшое количество добавленных слоев. Мы используем вопросно-ответную систему (QA) в качестве площадки для оценки способности наших моделей к условному обучению и наблюдаем, что они превосходят ICL, сравнимы с fein-tuned LLM с подсказкой и значительно уменьшают объем памяти по сравнению со стандартным кэшированием KV на два порядка.

English

In-context learning (ICL) approaches typically leverage prompting to condition decoder-only language model generation on reference information. Just-in-time processing of a context is inefficient due to the quadratic cost of self-attention operations, and caching is desirable. However, caching transformer states can easily require almost as much space as the model parameters. When the right context isn't known in advance, caching ICL can be challenging. This work addresses these limitations by introducing models that, inspired by the encoder-decoder architecture, use cross-attention to condition generation on reference text without the prompt. More precisely, we leverage pre-trained decoder-only models and only train a small number of added layers. We use Question-Answering (QA) as a testbed to evaluate the ability of our models to perform conditional generation and observe that they outperform ICL, are comparable to fine-tuned prompted LLMs, and drastically reduce the space footprint relative to standard KV caching by two orders of magnitude.