Адаптивное кэширование семантических подсказок с использованием VectorQ.

Adaptive Semantic Prompt Caching with VectorQ

February 6, 2025

Авторы: Luis Gaspar Schroeder, Shu Liu, Alejandro Cuadron, Mark Zhao, Stephan Krusche, Alfons Kemper, Matei Zaharia, Joseph E. Gonzalez

cs.AI

Аннотация

Кэши семантических подсказок снижают задержку и стоимость вывода больших языковых моделей (LLM), повторно используя закэшированные ответы, сгенерированные LLM, для семантически похожих подсказок. Метрики сходства векторов присваивают числовой балл для количественной оценки сходства между встроенной подсказкой и ее ближайшим соседом в кэше. Существующие системы полагаются на статический порог для классификации того, достаточно ли высок балл сходства для получения попадания в кэш. Мы показываем, что этот универсальный порог недостаточен для различных подсказок. Мы предлагаем VectorQ, фреймворк для изучения областей порогов, специфичных для встраивания, которые адаптируются к сложности и неопределенности встраивания. Через оценки на комбинации четырех разнообразных наборов данных мы показываем, что VectorQ последовательно превосходит современные системы на всех статических порогах, достигая увеличения коэффициента попадания в кэш до 12 раз и снижения коэффициента ошибок до 92%.

English

Semantic prompt caches reduce the latency and cost of large language model (LLM) inference by reusing cached LLM-generated responses for semantically similar prompts. Vector similarity metrics assign a numerical score to quantify the similarity between an embedded prompt and its nearest neighbor in the cache. Existing systems rely on a static threshold to classify whether the similarity score is sufficiently high to result in a cache hit. We show that this one-size-fits-all threshold is insufficient across different prompts. We propose VectorQ, a framework to learn embedding-specific threshold regions that adapt to the complexity and uncertainty of an embedding. Through evaluations on a combination of four diverse datasets, we show that VectorQ consistently outperforms state-of-the-art systems across all static thresholds, achieving up to 12x increases in cache hit rate and error rate reductions up to 92%.