Prompt Cache: Модульное повторное использование внимания для низкозатратного вывода

Prompt Cache: Modular Attention Reuse for Low-Latency Inference

November 7, 2023

Авторы: In Gim, Guojun Chen, Seung-seob Lee, Nikhil Sarda, Anurag Khandelwal, Lin Zhong

cs.AI

Аннотация

Мы представляем Prompt Cache — подход для ускорения вывода в больших языковых моделях (LLM) за счет повторного использования состояний внимания между различными запросами к LLM. Многие входные запросы содержат перекрывающиеся текстовые сегменты, такие как системные сообщения, шаблоны запросов и документы, предоставляемые для контекста. Наше ключевое наблюдение заключается в том, что предварительное вычисление и сохранение состояний внимания для этих часто встречающихся текстовых сегментов на сервере вывода позволяет эффективно повторно использовать их, когда эти сегменты появляются в пользовательских запросах. Prompt Cache использует схему для явного определения таких повторно используемых текстовых сегментов, называемых модулями запросов. Схема обеспечивает позиционную точность при повторном использовании состояний внимания и предоставляет пользователям интерфейс для доступа к кэшированным состояниям в их запросах. Используя прототипную реализацию, мы оцениваем Prompt Cache на нескольких LLM. Мы показываем, что Prompt Cache значительно сокращает задержку до первого токена, особенно для длинных запросов, таких как ответы на вопросы на основе документов и рекомендации. Улучшения варьируются от 8x для вывода на GPU до 60x для вывода на CPU, при этом сохраняется точность вывода и не требуется модификация параметров модели.

English

We present Prompt Cache, an approach for accelerating inference for large language models (LLM) by reusing attention states across different LLM prompts. Many input prompts have overlapping text segments, such as system messages, prompt templates, and documents provided for context. Our key insight is that by precomputing and storing the attention states of these frequently occurring text segments on the inference server, we can efficiently reuse them when these segments appear in user prompts. Prompt Cache employs a schema to explicitly define such reusable text segments, called prompt modules. The schema ensures positional accuracy during attention state reuse and provides users with an interface to access cached states in their prompt. Using a prototype implementation, we evaluate Prompt Cache across several LLMs. We show that Prompt Cache significantly reduce latency in time-to-first-token, especially for longer prompts such as document-based question answering and recommendations. The improvements range from 8x for GPU-based inference to 60x for CPU-based inference, all while maintaining output accuracy and without the need for model parameter modifications.