TeleRAG: Efficiënte Inferentie met Retrieval-Augmented Generation via Lookahead Retrieval

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

Auteurs: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

Samenvatting

Retrieval-augmented generation (RAG) breidt grote taalmodellen (LLMs) uit met externe gegevensbronnen om de feitelijke nauwkeurigheid en domeindekking te verbeteren. Moderne RAG-pijplijnen zijn afhankelijk van grote gegevensopslagen, wat leidt tot systeemuitdagingen in latentiegevoelige implementaties, vooral wanneer beperkte GPU-geheugen beschikbaar is. Om deze uitdagingen aan te pakken, stellen we TeleRAG voor, een efficiënt inferentiesysteem dat de RAG-latentie vermindert met minimale GPU-geheugenvereisten. De kerninnovatie van TeleRAG is lookahead retrieval, een prefetching-mechanisme dat benodigde gegevens anticipeert en deze parallel aan LLM-generatie van CPU naar GPU overbrengt. Door gebruik te maken van de modulariteit van RAG-pijplijnen, het inverted file index (IVF)-zoekalgoritme en overeenkomsten tussen queries, optimaliseert TeleRAG de overlap tussen gegevensverplaatsing en berekening. Experimentele resultaten tonen aan dat TeleRAG de end-to-end RAG-inferentielatentie met gemiddeld tot 1,72x vermindert in vergelijking met state-of-the-art systemen, waardoor snellere en geheugenefficiëntere implementaties van geavanceerde RAG-toepassingen mogelijk worden.

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.