TeleRAG: Effiziente Inferenz mit Retrieval-Augmented Generation durch Lookahead-Retrieval

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

Autoren: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

Zusammenfassung

Retrieval-augmented Generation (RAG) erweitert große Sprachmodelle (LLMs) um externe Datenquellen, um die faktische Korrektheit und die Abdeckung spezifischer Domänen zu verbessern. Moderne RAG-Pipelines basieren auf umfangreichen Datenspeichern, was in Latenz-sensitiven Bereitstellungen zu Systemherausforderungen führt, insbesondere bei begrenztem GPU-Speicher. Um diese Herausforderungen zu bewältigen, schlagen wir TeleRAG vor, ein effizientes Inferenzsystem, das die RAG-Latenz bei minimalen GPU-Speicheranforderungen reduziert. Die Kerninnovation von TeleRAG ist das Lookahead Retrieval, ein Prefetching-Mechanismus, der benötigte Daten vorausschauend erfasst und parallel zur LLM-Generierung von der CPU zur GPU überträgt. Durch die Nutzung der Modularität von RAG-Pipelines, den Inverted File Index (IVF)-Suchalgorithmus und Ähnlichkeiten zwischen Anfragen, optimiert TeleRAG die Überlappung von Datenbewegung und Berechnung. Experimentelle Ergebnisse zeigen, dass TeleRAG die end-to-end RAG-Inferenzlatenz im Durchschnitt um bis zu das 1,72-fache im Vergleich zu state-of-the-art Systemen reduziert und damit schnellere, speichereffizientere Bereitstellungen fortschrittlicher RAG-Anwendungen ermöglicht.

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.