DeepRAG: Pensando na Recuperação Passo a Passo para Modelos de Linguagem Grandes

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Autores: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado um potencial notável em raciocínio, embora ainda sofram de alucinações factuais graves devido à atualidade, precisão e cobertura do conhecimento paramétrico. Enquanto isso, a integração do raciocínio com a geração aumentada por recuperação (RAG) continua sendo um desafio devido à decomposição de tarefas ineficaz e à recuperação redundante, o que pode introduzir ruído e degradar a qualidade da resposta. Neste artigo, propomos o DeepRAG, um framework que modela o raciocínio aumentado por recuperação como um Processo de Decisão de Markov (MDP), possibilitando uma recuperação estratégica e adaptativa. Ao decompor iterativamente as consultas, o DeepRAG determina dinamicamente se deve recuperar conhecimento externo ou confiar no raciocínio paramétrico em cada etapa. Experimentos mostram que o DeepRAG melhora a eficiência de recuperação, ao mesmo tempo em que aumenta a precisão das respostas em 21,99%, demonstrando sua eficácia na otimização do raciocínio aumentado por recuperação.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.