Generazione potenziata dalla catena di recupero

Chain-of-Retrieval Augmented Generation

January 24, 2025

Autori: Liang Wang, Haonan Chen, Nan Yang, Xiaolong Huang, Zhicheng Dou, Furu Wei

cs.AI

Abstract

Questo articolo introduce un approccio per addestrare modelli RAG simili a o1 che recuperano e ragionano su informazioni rilevanti passo dopo passo prima di generare la risposta finale. I metodi RAG convenzionali di solito eseguono un singolo passaggio di recupero prima del processo di generazione, il che limita la loro efficacia nel rispondere a query complesse a causa dei risultati imperfetti del recupero. Al contrario, il nostro metodo proposto, CoRAG (Generazione potenziata da catena di recupero), consente al modello di riformulare dinamicamente la query in base allo stato in evoluzione. Per addestrare in modo efficace CoRAG, utilizziamo il campionamento di rifiuto per generare automaticamente catene di recupero intermedie, aumentando così i dataset RAG esistenti che forniscono solo la risposta finale corretta. Al momento del test, proponiamo varie strategie di decodifica per scalare il calcolo del modello durante il test controllando la lunghezza e il numero di catene di recupero campionate. I risultati sperimentali su più benchmark convalidano l'efficacia di CoRAG, in particolare nei compiti di risposta a domande multi-hop, dove osserviamo un miglioramento di oltre 10 punti nel punteggio EM rispetto alle basi solide. Sul benchmark KILT, CoRAG stabilisce un nuovo stato dell'arte in una vasta gamma di compiti ricchi di conoscenza. Inoltre, offriamo analisi approfondite per comprendere il comportamento di scalabilità di CoRAG, gettando le basi per futura ricerca volta allo sviluppo di modelli di base fattuali e fondati.

English

This paper introduces an approach for training o1-like RAG models that retrieve and reason over relevant information step by step before generating the final answer. Conventional RAG methods usually perform a single retrieval step before the generation process, which limits their effectiveness in addressing complex queries due to imperfect retrieval results. In contrast, our proposed method, CoRAG (Chain-of-Retrieval Augmented Generation), allows the model to dynamically reformulate the query based on the evolving state. To train CoRAG effectively, we utilize rejection sampling to automatically generate intermediate retrieval chains, thereby augmenting existing RAG datasets that only provide the correct final answer. At test time, we propose various decoding strategies to scale the model's test-time compute by controlling the length and number of sampled retrieval chains. Experimental results across multiple benchmarks validate the efficacy of CoRAG, particularly in multi-hop question answering tasks, where we observe more than 10 points improvement in EM score compared to strong baselines. On the KILT benchmark, CoRAG establishes a new state-of-the-art performance across a diverse range of knowledge-intensive tasks. Furthermore, we offer comprehensive analyses to understand the scaling behavior of CoRAG, laying the groundwork for future research aimed at developing factual and grounded foundation models.