AlayaDB: A Base de Dados para Inferência Eficiente e Eficaz de LLMs de Contexto Longo

AlayaDB: The Data Foundation for Efficient and Effective Long-context LLM Inference

April 14, 2025

Autores: Yangshen Deng, Zhengxin You, Long Xiang, Qilong Li, Peiqi Yuan, Zhaoyang Hong, Yitao Zheng, Wanting Li, Runzhong Li, Haotian Liu, Kyriakos Mouratidis, Man Lung Yiu, Huan Li, Qiaomu Shen, Rui Mao, Bo Tang

cs.AI

Resumo

O AlayaDB é um sistema de banco de dados vetorial de ponta, projetado nativamente para inferência eficiente e eficaz de contexto longo em Modelos de Linguagem de Grande Escala (LLMs) na AlayaDB AI. Especificamente, ele desacopla o cache KV e o cálculo de atenção dos sistemas de inferência de LLMs, encapsulando-os em um sistema de banco de dados vetorial inovador. Para provedores de Modelo como Serviço (MaaS), o AlayaDB consome menos recursos de hardware e oferece maior qualidade de geração para diversas cargas de trabalho com diferentes tipos de Objetivos de Nível de Serviço (SLOs), em comparação com soluções alternativas existentes (por exemplo, desagregação de cache KV, atenção esparsa baseada em recuperação). A essência do AlayaDB reside no fato de que ele abstrai o cálculo de atenção e o gerenciamento de cache para inferência de LLMs em um procedimento de processamento de consultas, otimizando o desempenho por meio de um otimizador de consultas nativo. Neste trabalho, demonstramos a eficácia do AlayaDB por meio de (i) três casos de uso de nossos parceiros da indústria e (ii) resultados experimentais extensivos em benchmarks de inferência de LLMs.

English

AlayaDB is a cutting-edge vector database system natively architected for efficient and effective long-context inference for Large Language Models (LLMs) at AlayaDB AI. Specifically, it decouples the KV cache and attention computation from the LLM inference systems, and encapsulates them into a novel vector database system. For the Model as a Service providers (MaaS), AlayaDB consumes fewer hardware resources and offers higher generation quality for various workloads with different kinds of Service Level Objectives (SLOs), when comparing with the existing alternative solutions (e.g., KV cache disaggregation, retrieval-based sparse attention). The crux of AlayaDB is that it abstracts the attention computation and cache management for LLM inference into a query processing procedure, and optimizes the performance via a native query optimizer. In this work, we demonstrate the effectiveness of AlayaDB via (i) three use cases from our industry partners, and (ii) extensive experimental results on LLM inference benchmarks.