TeleRAG: ルックアヘッド検索を用いた効率的な検索拡張生成推論

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

著者: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

要旨

検索拡張生成（RAG）は、大規模言語モデル（LLM）を外部データソースと統合することで、事実の正確性とドメインカバレッジを向上させる技術です。現代のRAGパイプラインは大規模なデータストアに依存しており、特にGPUメモリが限られた環境でのレイテンシに敏感な展開において、システム的な課題が生じています。これらの課題に対処するため、我々はTeleRAGを提案します。これは、最小限のGPUメモリ要件でRAGのレイテンシを削減する効率的な推論システムです。TeleRAGの中核となる革新は、先読み検索（lookahead retrieval）と呼ばれるプリフェッチ機構で、必要なデータを予測し、LLMの生成と並行してCPUからGPUに転送します。RAGパイプラインのモジュール性、逆ファイルインデックス（IVF）検索アルゴリズム、およびクエリ間の類似性を活用することで、TeleRAGはデータ移動と計算を最適にオーバーラップさせます。実験結果によると、TeleRAGは最先端のシステムと比較して、エンドツーエンドのRAG推論レイテンシを平均1.72倍削減し、高度なRAGアプリケーションのより高速かつメモリ効率の良い展開を可能にします。

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.