DeepRAG: Pensando en la Recuperación Paso a Paso para Modelos de Lenguaje Grandes

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Autores: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Tamaño (LLMs) han demostrado un potencial notable en el razonamiento, aunque aún sufren de graves alucinaciones factuales debido a la puntualidad, precisión y cobertura del conocimiento paramétrico. Mientras tanto, la integración del razonamiento con la generación aumentada por recuperación (RAG) sigue siendo un desafío debido a la descomposición ineficaz de tareas y a la recuperación redundante, lo que puede introducir ruido y degradar la calidad de la respuesta. En este documento, proponemos DeepRAG, un marco que modela el razonamiento aumentado por recuperación como un Proceso de Decisión de Markov (MDP), permitiendo una recuperación estratégica y adaptativa. Al descomponer iterativamente las consultas, DeepRAG determina dinámicamente si recuperar conocimiento externo o depender del razonamiento paramétrico en cada paso. Los experimentos muestran que DeepRAG mejora la eficiencia de recuperación al tiempo que aumenta la precisión de respuestas en un 21.99%, demostrando su efectividad en la optimización del razonamiento aumentado por recuperación.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.