다중 홉 추론을 위한 조기 지식 정렬

초록

검색 증강 생성(RAG)은 도메인 특화 정보나 최신 정보가 필요한 지식 집약적 질의를 처리하기 위한 대규모 언어 모델(LLM)의 강력한 패러다임으로 부상했습니다. 단일 단계 검색으로는 처리하기 어려운 복잡한 다중 논리적 질문을 다루기 위해 강화 학습을 접목한 반복적 RAG 접근법이 제안되었습니다. 그러나 기존 반복적 RAG 시스템은 일반적으로 사용 가능한 검색 코퍼스에 대한 정보를 활용하지 않은 채 질문 분해를 계획하여 비효율적인 검색과 최적이 아닌 성능으로 이어지는 추론 체인을 초래합니다. 본 논문에서는 반복적 RAG 시스템에서 맥락적으로 관련된 검색 지식을 바탕으로 계획 수립 전에 LLM을 검색 집합과 조기에 정렬하는 간단하지만 효과적인 모듈인 조기 지식 정렬(EKA)을 소개합니다. 6개의 표준 RAG 데이터셋에서 진행한 폭넓은 실험을 통해 EKA가 더 견고한 추론 기반을 구축함으로써 검색 정밀도를 크게 향상시키고, 오류 전파를 줄이며, 성능과 효율을 모두 개선함을 입증했습니다. 엔트로피 관점에서의 분석 결과, 조기 지식 통합이 추론 과정에서 불필요한 탐색을 줄여 모델이 관련 정보 하위 집합에 더 효과적으로 집중할 수 있게 해준다는 것을 확인했습니다. 더욱이 EKA는 대규모 모델에 원활하게 확장 적용 가능한 다목적의 훈련 불필요 추론 전략으로서 효과적임을 입증했습니다. 다양한 데이터셋과 검색 코퍼스에서의 일반화 테스트를 통해 본 접근법의 강건성이 확인되었습니다. 전반적으로 EKA는 반복적 RAG 시스템의 최첨단 기술을 발전시키는 동시에, 강화 학습 증강 프레임워크 내에서 구조화된 추론과 효율적 탐색 간의 중요한 상호작용을 조명합니다. 코드는 https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}에서 공개되었습니다.

English

Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm for Large Language Models (LLMs) to address knowledge-intensive queries requiring domain-specific or up-to-date information. To handle complex multi-hop questions that are challenging for single-step retrieval, iterative RAG approaches incorporating reinforcement learning have been proposed. However, existing iterative RAG systems typically plan to decompose questions without leveraging information about the available retrieval corpus, leading to inefficient retrieval and reasoning chains that cascade into suboptimal performance. In this paper, we introduce Early Knowledge Alignment (EKA), a simple but effective module that aligns LLMs with retrieval set before planning in iterative RAG systems with contextually relevant retrieved knowledge. Extensive experiments on six standard RAG datasets demonstrate that by establishing a stronger reasoning foundation, EKA significantly improves retrieval precision, reduces cascading errors, and enhances both performance and efficiency. Our analysis from an entropy perspective demonstrate that incorporating early knowledge reduces unnecessary exploration during the reasoning process, enabling the model to focus more effectively on relevant information subsets. Moreover, EKA proves effective as a versatile, training-free inference strategy that scales seamlessly to large models. Generalization tests across diverse datasets and retrieval corpora confirm the robustness of our approach. Overall, EKA advances the state-of-the-art in iterative RAG systems while illuminating the critical interplay between structured reasoning and efficient exploration in reinforcement learning-augmented frameworks. The code is released at https://github.com/yxzwang/EarlyKnowledgeAlignment{Github}.

다중 홉 추론을 위한 조기 지식 정렬

Multi-hop Reasoning via Early Knowledge Alignment

초록

Support