ГлубокийRAG: Мышление о поиске шаг за шагом для больших языковых моделей

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Авторы: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали значительный потенциал в рассуждениях, однако они по-прежнему страдают от серьезных фактических галлюцинаций из-за своевременности, точности и охвата параметрических знаний. В то же время интеграция рассуждений с генерацией с увеличенным поиском (RAG) остается сложной из-за неэффективного разложения задачи и избыточного поиска, что может внести шум и ухудшить качество ответа. В данной статье мы предлагаем DeepRAG, фреймворк, который моделирует рассуждения с увеличенным поиском как процесс принятия решений Маркова (MDP), обеспечивая стратегический и адаптивный поиск. Путем итеративного разложения запросов DeepRAG динамически определяет, стоит ли извлекать внешние знания или полагаться на параметрические рассуждения на каждом шаге. Эксперименты показывают, что DeepRAG повышает эффективность поиска, улучшая точность ответов на 21,99%, демонстрируя его эффективность в оптимизации рассуждений с увеличенным поиском.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.