TeleRAG: Geração Aumentada por Recuperação Eficiente com Recuperação Antecipada

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

Autores: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

Resumo

A geração aumentada por recuperação (RAG) estende os grandes modelos de linguagem (LLMs) com fontes de dados externas para melhorar a correção factual e a cobertura de domínio. Os pipelines modernos de RAG dependem de grandes armazenamentos de dados, o que gera desafios de sistema em implantações sensíveis à latência, especialmente quando há memória GPU limitada disponível. Para enfrentar esses desafios, propomos o TeleRAG, um sistema de inferência eficiente que reduz a latência do RAG com requisitos mínimos de memória GPU. A inovação central do TeleRAG é a recuperação antecipada, um mecanismo de pré-busca que antecipa os dados necessários e os transfere da CPU para a GPU em paralelo com a geração do LLM. Ao aproveitar a modularidade dos pipelines de RAG, o algoritmo de busca de índice de arquivo invertido (IVF) e as similaridades entre consultas, o TeleRAG sobrepõe de forma ideal o movimento de dados e a computação. Resultados experimentais mostram que o TeleRAG reduz a latência de inferência RAG de ponta a ponta em até 1,72x em média em comparação com sistemas state-of-the-art, permitindo implantações mais rápidas e eficientes em memória de aplicações avançadas de RAG.

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.