Adaptive semantische Prompt-Caching mit VectorQ

Adaptive Semantic Prompt Caching with VectorQ

February 6, 2025

Autoren: Luis Gaspar Schroeder, Shu Liu, Alejandro Cuadron, Mark Zhao, Stephan Krusche, Alfons Kemper, Matei Zaharia, Joseph E. Gonzalez

cs.AI

Zusammenfassung

Semantische Prompt-Caches reduzieren die Latenz und die Kosten großer Sprachmodell (LLM)-Inferenzen, indem sie zwischengespeicherte, von LLM generierte Antworten für semantisch ähnliche Prompts wiederverwenden. Vektorsimilaritätsmetriken weisen eine numerische Punktzahl zu, um die Ähnlichkeit zwischen einem eingebetteten Prompt und seinem nächsten Nachbarn im Cache zu quantifizieren. Bestehende Systeme verlassen sich auf einen statischen Schwellenwert, um zu klassifizieren, ob die Ähnlichkeitspunktzahl ausreicht, um zu einem Cachetreffer zu führen. Wir zeigen, dass dieser Einheitswert-Schwellenwert für verschiedene Prompts unzureichend ist. Wir schlagen VectorQ vor, ein Rahmenwerk zum Erlernen von einbettungsspezifischen Schwellenwertbereichen, die sich an die Komplexität und Unsicherheit einer Einbettung anpassen. Durch Evaluierungen an einer Kombination von vier verschiedenen Datensätzen zeigen wir, dass VectorQ konsistent besser abschneidet als führende Systeme bei allen statischen Schwellenwerten, wodurch die Cachetrefferquote um bis zu 12-fach erhöht und Fehlerquoten um bis zu 92% reduziert werden.

English

Semantic prompt caches reduce the latency and cost of large language model (LLM) inference by reusing cached LLM-generated responses for semantically similar prompts. Vector similarity metrics assign a numerical score to quantify the similarity between an embedded prompt and its nearest neighbor in the cache. Existing systems rely on a static threshold to classify whether the similarity score is sufficiently high to result in a cache hit. We show that this one-size-fits-all threshold is insufficient across different prompts. We propose VectorQ, a framework to learn embedding-specific threshold regions that adapt to the complexity and uncertainty of an embedding. Through evaluations on a combination of four diverse datasets, we show that VectorQ consistently outperforms state-of-the-art systems across all static thresholds, achieving up to 12x increases in cache hit rate and error rate reductions up to 92%.