Mise en cache adaptative des invites sémantiques avec VectorQ

Adaptive Semantic Prompt Caching with VectorQ

February 6, 2025

Auteurs: Luis Gaspar Schroeder, Shu Liu, Alejandro Cuadron, Mark Zhao, Stephan Krusche, Alfons Kemper, Matei Zaharia, Joseph E. Gonzalez

cs.AI

Résumé

Les caches de requêtes sémantiques réduisent la latence et le coût de l'inférence des grands modèles de langage (LLM) en réutilisant les réponses générées par le LLM mises en cache pour des requêtes sémantiquement similaires. Les métriques de similarité vectorielle attribuent un score numérique pour quantifier la similarité entre une requête intégrée et son voisin le plus proche dans le cache. Les systèmes existants se reposent sur un seuil statique pour classifier si le score de similarité est suffisamment élevé pour entraîner un succès de cache. Nous montrons que ce seuil universel est insuffisant pour différentes requêtes. Nous proposons VectorQ, un cadre pour apprendre des régions de seuil spécifiques à l'intégration qui s'adaptent à la complexité et à l'incertitude d'une intégration. À travers des évaluations sur une combinaison de quatre ensembles de données divers, nous montrons que VectorQ surpasse de manière constante les systèmes de pointe à travers tous les seuils statiques, atteignant jusqu'à 12 fois d'augmentation du taux de succès de cache et des réductions du taux d'erreur allant jusqu'à 92%.

English

Semantic prompt caches reduce the latency and cost of large language model (LLM) inference by reusing cached LLM-generated responses for semantically similar prompts. Vector similarity metrics assign a numerical score to quantify the similarity between an embedded prompt and its nearest neighbor in the cache. Existing systems rely on a static threshold to classify whether the similarity score is sufficiently high to result in a cache hit. We show that this one-size-fits-all threshold is insufficient across different prompts. We propose VectorQ, a framework to learn embedding-specific threshold regions that adapt to the complexity and uncertainty of an embedding. Through evaluations on a combination of four diverse datasets, we show that VectorQ consistently outperforms state-of-the-art systems across all static thresholds, achieving up to 12x increases in cache hit rate and error rate reductions up to 92%.