Geração Aumentada por Cadeia de Recuperação

Chain-of-Retrieval Augmented Generation

January 24, 2025

Autores: Liang Wang, Haonan Chen, Nan Yang, Xiaolong Huang, Zhicheng Dou, Furu Wei

cs.AI

Resumo

Este artigo apresenta uma abordagem para treinar modelos RAG semelhantes a o1 que recuperam e raciocinam sobre informações relevantes passo a passo antes de gerar a resposta final. Os métodos RAG convencionais geralmente realizam uma única etapa de recuperação antes do processo de geração, o que limita sua eficácia ao lidar com consultas complexas devido a resultados de recuperação imperfeitos. Em contraste, nosso método proposto, CoRAG (Geração Aumentada por Cadeia de Recuperação), permite que o modelo reformule dinamicamente a consulta com base no estado em evolução. Para treinar o CoRAG de forma eficaz, utilizamos amostragem de rejeição para gerar automaticamente cadeias de recuperação intermediárias, aumentando assim conjuntos de dados RAG existentes que fornecem apenas a resposta final correta. No momento do teste, propomos várias estratégias de decodificação para dimensionar o cálculo do modelo no momento do teste, controlando o comprimento e o número de cadeias de recuperação amostradas. Resultados experimentais em vários benchmarks validam a eficácia do CoRAG, especialmente em tarefas de resposta a perguntas de múltiplas etapas, onde observamos mais de 10 pontos de melhoria na pontuação EM em comparação com baselines fortes. No benchmark KILT, o CoRAG estabelece um novo desempenho de ponta em uma ampla gama de tarefas intensivas em conhecimento. Além disso, oferecemos análises abrangentes para entender o comportamento de dimensionamento do CoRAG, lançando as bases para pesquisas futuras com o objetivo de desenvolver modelos de base factual e fundamentada.

English

This paper introduces an approach for training o1-like RAG models that retrieve and reason over relevant information step by step before generating the final answer. Conventional RAG methods usually perform a single retrieval step before the generation process, which limits their effectiveness in addressing complex queries due to imperfect retrieval results. In contrast, our proposed method, CoRAG (Chain-of-Retrieval Augmented Generation), allows the model to dynamically reformulate the query based on the evolving state. To train CoRAG effectively, we utilize rejection sampling to automatically generate intermediate retrieval chains, thereby augmenting existing RAG datasets that only provide the correct final answer. At test time, we propose various decoding strategies to scale the model's test-time compute by controlling the length and number of sampled retrieval chains. Experimental results across multiple benchmarks validate the efficacy of CoRAG, particularly in multi-hop question answering tasks, where we observe more than 10 points improvement in EM score compared to strong baselines. On the KILT benchmark, CoRAG establishes a new state-of-the-art performance across a diverse range of knowledge-intensive tasks. Furthermore, we offer comprehensive analyses to understand the scaling behavior of CoRAG, laying the groundwork for future research aimed at developing factual and grounded foundation models.