AlayaDB: Die Datenbasis für effiziente und effektive Langkontext-Inferenz von LLMs

AlayaDB: The Data Foundation for Efficient and Effective Long-context LLM Inference

April 14, 2025

Autoren: Yangshen Deng, Zhengxin You, Long Xiang, Qilong Li, Peiqi Yuan, Zhaoyang Hong, Yitao Zheng, Wanting Li, Runzhong Li, Haotian Liu, Kyriakos Mouratidis, Man Lung Yiu, Huan Li, Qiaomu Shen, Rui Mao, Bo Tang

cs.AI

Zusammenfassung

AlayaDB ist ein modernes Vektordatenbanksystem, das speziell für effiziente und effektive Langkontext-Inferenz für Large Language Models (LLMs) bei AlayaDB AI entwickelt wurde. Insbesondere entkoppelt es den KV-Cache und die Aufmerksamkeitsberechnung von den LLM-Inferenzsystemen und kapselt sie in ein neuartiges Vektordatenbanksystem. Für Model-as-a-Service-Anbieter (MaaS) verbraucht AlayaDB weniger Hardware-Ressourcen und bietet eine höhere Generierungsqualität für verschiedene Workloads mit unterschiedlichen Service Level Objectives (SLOs), verglichen mit bestehenden alternativen Lösungen (z. B. KV-Cache-Disaggregation, retrievalbasierte spärliche Aufmerksamkeit). Der Kern von AlayaDB besteht darin, dass es die Aufmerksamkeitsberechnung und das Cache-Management für die LLM-Inferenz in einen Abfrageverarbeitungsprozess abstrahiert und die Leistung durch einen nativen Abfrageoptimierer optimiert. In dieser Arbeit demonstrieren wir die Wirksamkeit von AlayaDB anhand von (i) drei Anwendungsfällen unserer Industriepartner und (ii) umfangreichen experimentellen Ergebnissen auf LLM-Inferenz-Benchmarks.

English

AlayaDB is a cutting-edge vector database system natively architected for efficient and effective long-context inference for Large Language Models (LLMs) at AlayaDB AI. Specifically, it decouples the KV cache and attention computation from the LLM inference systems, and encapsulates them into a novel vector database system. For the Model as a Service providers (MaaS), AlayaDB consumes fewer hardware resources and offers higher generation quality for various workloads with different kinds of Service Level Objectives (SLOs), when comparing with the existing alternative solutions (e.g., KV cache disaggregation, retrieval-based sparse attention). The crux of AlayaDB is that it abstracts the attention computation and cache management for LLM inference into a query processing procedure, and optimizes the performance via a native query optimizer. In this work, we demonstrate the effectiveness of AlayaDB via (i) three use cases from our industry partners, and (ii) extensive experimental results on LLM inference benchmarks.