DeepRAG: Pensare al Recupero Passo dopo Passo per Grandi Modelli Linguistici

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

Autori: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

Abstract

I Large Language Models (LLM) hanno dimostrato un notevole potenziale nel ragionamento, anche se soffrono ancora di gravi allucinazioni factuali dovute alla tempestività, accuratezza e copertura della conoscenza parametrica. Nel frattempo, integrare il ragionamento con la generazione potenziata da recupero (RAG) rimane una sfida a causa della decomposizione inefficiente del compito e del recupero ridondante, che può introdurre rumore e degradare la qualità della risposta. In questo articolo, proponiamo DeepRAG, un framework che modella il ragionamento potenziato da recupero come un Processo Decisionale di Markov (MDP), consentendo un recupero strategico e adattivo. Decomponendo iterativamente le query, DeepRAG determina dinamicamente se recuperare conoscenze esterne o fare affidamento sul ragionamento parametrico ad ogni passo. Gli esperimenti mostrano che DeepRAG migliora l'efficienza del recupero, aumentando nel contempo la precisione delle risposte del 21,99%, dimostrandone l'efficacia nell'ottimizzazione del ragionamento potenziato da recupero.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.