AlayaDB: 効率的かつ効果的な長文脈LLM推論のためのデータ基盤

AlayaDB: The Data Foundation for Efficient and Effective Long-context LLM Inference

April 14, 2025

著者: Yangshen Deng, Zhengxin You, Long Xiang, Qilong Li, Peiqi Yuan, Zhaoyang Hong, Yitao Zheng, Wanting Li, Runzhong Li, Haotian Liu, Kyriakos Mouratidis, Man Lung Yiu, Huan Li, Qiaomu Shen, Rui Mao, Bo Tang

cs.AI

要旨

AlayaDBは、AlayaDB AIにおける大規模言語モデル（LLM）の効率的かつ効果的な長文脈推論のためにネイティブに設計された最先端のベクトルデータベースシステムです。具体的には、LLM推論システムからKVキャッシュとアテンション計算を分離し、それらを新たなベクトルデータベースシステムにカプセル化しています。Model as a Serviceプロバイダー（MaaS）にとって、AlayaDBは既存の代替ソリューション（例：KVキャッシュの分離、検索ベースのスパースアテンション）と比較して、より少ないハードウェアリソースを消費し、さまざまな種類のサービスレベル目標（SLO）を持つワークロードに対して高い生成品質を提供します。AlayaDBの核心は、LLM推論のためのアテンション計算とキャッシュ管理をクエリ処理プロシージャに抽象化し、ネイティブのクエリオプティマイザを介してパフォーマンスを最適化することにあります。本論文では、(i)業界パートナーからの3つのユースケースと、(ii)LLM推論ベンチマークにおける広範な実験結果を通じて、AlayaDBの有効性を実証します。

English

AlayaDB is a cutting-edge vector database system natively architected for efficient and effective long-context inference for Large Language Models (LLMs) at AlayaDB AI. Specifically, it decouples the KV cache and attention computation from the LLM inference systems, and encapsulates them into a novel vector database system. For the Model as a Service providers (MaaS), AlayaDB consumes fewer hardware resources and offers higher generation quality for various workloads with different kinds of Service Level Objectives (SLOs), when comparing with the existing alternative solutions (e.g., KV cache disaggregation, retrieval-based sparse attention). The crux of AlayaDB is that it abstracts the attention computation and cache management for LLM inference into a query processing procedure, and optimizes the performance via a native query optimizer. In this work, we demonstrate the effectiveness of AlayaDB via (i) three use cases from our industry partners, and (ii) extensive experimental results on LLM inference benchmarks.