ReaRAG: Kennisgestuurd redeneren verbetert de feitelijkheid van grote redeneermodellen met iteratieve retrieval-augmented generatie

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

Auteurs: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

Samenvatting

Large Reasoning Models (LRMs) vertonen opmerkelijke redeneervaardigheden, maar zijn voornamelijk afhankelijk van parametrische kennis, wat de feitelijke nauwkeurigheid beperkt. Hoewel recente werken reinforcement learning (RL)-gebaseerde LRMs uitrusten met retrievalmogelijkheden, lijden deze aan overdenken en een gebrek aan robuustheid in het redeneren, wat hun effectiviteit in vraag-antwoordtaken (QA) vermindert. Om dit aan te pakken, stellen we ReaRAG voor, een feitelijkheidsversterkt redeneermodel dat diverse queries verkent zonder overmatige iteraties. Onze oplossing omvat een nieuw dataconstructiekader met een bovengrens aan de lengte van de redeneerketen. Specifiek benutten we eerst een LRM om weloverwogen denken te genereren, waarna een actie wordt geselecteerd uit een vooraf gedefinieerde actieruimte (Zoeken en Afronden). Voor de Zoeken-actie wordt een query uitgevoerd tegen de RAG-engine, waarbij het resultaat wordt teruggegeven als observatie om latere redeneerstappen te begeleiden. Dit proces herhaalt zich totdat een Afronden-actie wordt gekozen. Dankzij de sterke redeneervaardigheden van ReaRAG presteert onze aanpak beter dan bestaande baselines op multi-hop QA. Verdere analyse benadrukt het sterke reflecterende vermogen om fouten te herkennen en de redeneertrajectorie te verfijnen. Onze studie verbetert de feitelijkheid van LRMs terwijl robuust redeneren effectief wordt geïntegreerd voor Retrieval-Augmented Generation (RAG).

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).