TeleRAG: Эффективный вывод с использованием генерации, дополненной поиском, и предварительного поиска

TeleRAG: Efficient Retrieval-Augmented Generation Inference with Lookahead Retrieval

February 28, 2025

Авторы: Chien-Yu Lin, Keisuke Kamahori, Yiyu Liu, Xiaoxiang Shi, Madhav Kashyap, Yile Gu, Rulin Shao, Zihao Ye, Kan Zhu, Stephanie Wang, Arvind Krishnamurthy, Rohan Kadekodi, Luis Ceze, Baris Kasikci

cs.AI

Аннотация

Генерация, дополненная поиском (RAG), расширяет возможности крупных языковых моделей (LLM) за счет использования внешних источников данных для повышения фактической точности и охвата предметной области. Современные RAG-конвейеры опираются на крупные хранилища данных, что создает системные проблемы в развертываниях, чувствительных к задержкам, особенно при ограниченной доступной памяти GPU. Для решения этих проблем мы предлагаем TeleRAG — эффективную систему вывода, которая снижает задержки RAG при минимальных требованиях к памяти GPU. Ключевым нововведением TeleRAG является опережающий поиск — механизм предварительной выборки, который предугадывает необходимые данные и передает их с CPU на GPU параллельно с генерацией LLM. Используя модульность RAG-конвейеров, алгоритм поиска по инвертированному файловому индексу (IVF) и сходства между запросами, TeleRAG оптимально совмещает перемещение данных и вычисления. Экспериментальные результаты показывают, что TeleRAG снижает задержку сквозного вывода RAG в среднем до 1,72 раза по сравнению с современными системами, обеспечивая более быстрые и энергоэффективные развертывания продвинутых RAG-приложений.

English

Retrieval-augmented generation (RAG) extends large language models (LLMs) with external data sources to enhance factual correctness and domain coverage. Modern RAG pipelines rely on large datastores, leading to system challenges in latency-sensitive deployments, especially when limited GPU memory is available. To address these challenges, we propose TeleRAG, an efficient inference system that reduces RAG latency with minimal GPU memory requirements. The core innovation of TeleRAG is lookahead retrieval, a prefetching mechanism that anticipates required data and transfers it from CPU to GPU in parallel with LLM generation. By leveraging the modularity of RAG pipelines, the inverted file index (IVF) search algorithm and similarities between queries, TeleRAG optimally overlaps data movement and computation. Experimental results show that TeleRAG reduces end-to-end RAG inference latency by up to 1.72x on average compared to state-of-the-art systems, enabling faster, more memory-efficient deployments of advanced RAG applications.