TeleRAG: Inferenza Efficiente con Generazione Aumentata dal Recupero e Recupero Anticipato

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

Autori: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

Abstract

La generazione potenziata dal recupero (Retrieval-Augmented Generation, RAG) estende i grandi modelli linguistici (Large Language Models, LLMs) con fonti di dati esterne per migliorare la correttezza fattuale e la copertura di dominio. Le pipeline RAG moderne si basano su grandi archivi di dati, portando a sfide sistemiche in implementazioni sensibili alla latenza, specialmente quando è disponibile una memoria GPU limitata. Per affrontare queste sfide, proponiamo TeleRAG, un sistema di inferenza efficiente che riduce la latenza di RAG con requisiti minimi di memoria GPU. L'innovazione centrale di TeleRAG è il recupero anticipato (lookahead retrieval), un meccanismo di prefetching che anticipa i dati necessari e li trasferisce dalla CPU alla GPU in parallelo con la generazione del LLM. Sfruttando la modularità delle pipeline RAG, l'algoritmo di ricerca con indice invertito (Inverted File Index, IVF) e le similarità tra le query, TeleRAG ottimizza la sovrapposizione tra il movimento dei dati e il calcolo. I risultati sperimentali mostrano che TeleRAG riduce la latenza end-to-end dell'inferenza RAG fino a 1,72x in media rispetto ai sistemi all'avanguardia, consentendo implementazioni più veloci ed efficienti in termini di memoria per applicazioni RAG avanzate.

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.