Caché de Consulta Semántica Adaptativa con VectorQ

Adaptive Semantic Prompt Caching with VectorQ

February 6, 2025

Autores: Luis Gaspar Schroeder, Shu Liu, Alejandro Cuadron, Mark Zhao, Stephan Krusche, Alfons Kemper, Matei Zaharia, Joseph E. Gonzalez

cs.AI

Resumen

Las cachés de indicaciones semánticas reducen la latencia y el costo de la inferencia de grandes modelos de lenguaje (LLM) reutilizando respuestas generadas por LLM previamente almacenadas para indicaciones semánticamente similares. Las métricas de similitud de vectores asignan una puntuación numérica para cuantificar la similitud entre una indicación incrustada y su vecino más cercano en la caché. Los sistemas existentes dependen de un umbral estático para clasificar si la puntuación de similitud es lo suficientemente alta como para resultar en un acierto de caché. Mostramos que este umbral de talla única es insuficiente para diferentes indicaciones. Proponemos VectorQ, un marco para aprender regiones de umbral específicas para incrustaciones que se adaptan a la complejidad e incertidumbre de una incrustación. A través de evaluaciones en una combinación de cuatro conjuntos de datos diversos, demostramos que VectorQ supera consistentemente a los sistemas de vanguardia en todos los umbrales estáticos, logrando aumentos de hasta 12 veces en la tasa de aciertos de caché y reducciones de la tasa de error de hasta un 92%.

English

Semantic prompt caches reduce the latency and cost of large language model (LLM) inference by reusing cached LLM-generated responses for semantically similar prompts. Vector similarity metrics assign a numerical score to quantify the similarity between an embedded prompt and its nearest neighbor in the cache. Existing systems rely on a static threshold to classify whether the similarity score is sufficiently high to result in a cache hit. We show that this one-size-fits-all threshold is insufficient across different prompts. We propose VectorQ, a framework to learn embedding-specific threshold regions that adapt to the complexity and uncertainty of an embedding. Through evaluations on a combination of four diverse datasets, we show that VectorQ consistently outperforms state-of-the-art systems across all static thresholds, achieving up to 12x increases in cache hit rate and error rate reductions up to 92%.