ReaRAG: 지식 기반 추론을 통한 대형 추론 모델의 사실성 강화 및 반복적 검색 증강 생성

ReaRAG: Knowledge-guided Reasoning Enhances Factuality of Large Reasoning Models with Iterative Retrieval Augmented Generation

March 27, 2025

저자: Zhicheng Lee, Shulin Cao, Jinxin Liu, Jiajie Zhang, Weichuan Liu, Xiaoyin Che, Lei Hou, Juanzi Li

cs.AI

초록

대규모 추론 모델(LRMs)은 놀라운 추론 능력을 보여주지만 주로 파라미터 기반 지식에 의존하여 사실적 정확도가 제한적입니다. 최근 연구들은 강화 학습(RL) 기반 LRMs에 검색 기능을 추가했지만, 과도한 사고와 추론의 견고성 부족으로 인해 질문 응답(QA) 작업에서의 효과가 감소했습니다. 이를 해결하기 위해, 우리는 과도한 반복 없이 다양한 쿼리를 탐색하는 사실성 강화 추론 모델인 ReaRAG를 제안합니다. 우리의 솔루션은 추론 체인의 길이에 상한을 두는 새로운 데이터 구성 프레임워크를 포함합니다. 구체적으로, 먼저 LRM을 활용하여 신중한 사고를 생성한 후, 미리 정의된 액션 공간(Search 및 Finish)에서 액션을 선택합니다. Search 액션의 경우, RAG 엔진에 대해 쿼리를 실행하고, 그 결과를 관찰값으로 반환하여 이후의 추론 단계를 안내합니다. 이 과정은 Finish 액션이 선택될 때까지 반복됩니다. ReaRAG의 강력한 추론 능력을 통해, 우리의 접근 방식은 다중 홉 QA에서 기존 베이스라인을 능가합니다. 추가 분석은 오류를 인식하고 추론 궤적을 개선하는 강력한 반성 능력을 강조합니다. 우리의 연구는 LRMs의 사실성을 향상시키면서 검색 증강 생성(RAG)을 위한 견고한 추론을 효과적으로 통합합니다.

English

Large Reasoning Models (LRMs) exhibit remarkable reasoning abilities but rely primarily on parametric knowledge, limiting factual accuracy. While recent works equip reinforcement learning (RL)-based LRMs with retrieval capabilities, they suffer from overthinking and lack robustness in reasoning, reducing their effectiveness in question answering (QA) tasks. To address this, we propose ReaRAG, a factuality-enhanced reasoning model that explores diverse queries without excessive iterations. Our solution includes a novel data construction framework with an upper bound on the reasoning chain length. Specifically, we first leverage an LRM to generate deliberate thinking, then select an action from a predefined action space (Search and Finish). For Search action, a query is executed against the RAG engine, where the result is returned as observation to guide reasoning steps later. This process iterates until a Finish action is chosen. Benefiting from ReaRAG's strong reasoning capabilities, our approach outperforms existing baselines on multi-hop QA. Further analysis highlights its strong reflective ability to recognize errors and refine its reasoning trajectory. Our study enhances LRMs' factuality while effectively integrating robust reasoning for Retrieval-Augmented Generation (RAG).