GRASP: 에이전트 기반 RAG를 위한 세분도 인식 검색 정책

초록

에이전트 기반 검색 증강 생성(Agentic Retrieval-Augmented Generation, RAG)은 언어 모델이 반복적으로 추론하고, 검색 쿼리를 생성하며, 증거를 검색하고, 답변을 예측할 수 있도록 함으로써 정적 RAG를 확장한다. 그러나 모델이 언제 검색할지, 어휘 매칭 또는 의미 유사성을 사용할지, 그리고 에이전트 추론을 방해하는 무관한 토큰을 방지하기 위해 컨텍스트 세분성을 어떻게 제어할지 결정하는 것은 여전히 어려운 과제이다. 본 논문에서는 다단계 추론 과정에서 보완적 검색 도구들을 적응적으로 조정하도록 에이전트를 훈련하기 위한 강화 학습(Reinforcement Learning, RL) 프레임워크인 GRASP를 소개한다. GRASP는 에이전트에게 의미 검색, 키워드 검색, 문단 읽기 행동을 제공하여, 문장 수준의 증거를 검색하고 필요할 때만 추가 컨텍스트를 확장할 수 있게 한다. 우리는 정답 정확도, 증거 기반 읽기, 보완적 검색, 그리고 턴 효율성을 종합적으로 고려한 보상으로 정책을 훈련한다. 다중 홉 추론 벤치마크 실험 결과, GRASP는 단일 단계 검색, 프롬프트 기반 에이전트 RAG, RL 기반 검색 기준선과 비교하여 검색 재현율과 하위 질의 응답 성능을 모두 향상시켰다. 정성 분석 및 절제 연구는 학습된 정책이 해석 가능한 대략적 읽기와 세밀한 읽기 행동을 개발함을 보여준다. 즉, 의미 검색을 광범위한 탐색에, 문단 읽기를 지역적 검증에, 키워드 검색을 개체별 증거 획득에 사용한다. 이러한 결과는 검색 신호와 컨텍스트 세분성을 조정하는 방법을 학습하는 것이 에이전트의 올바른 추론에 중요함을 시사한다.

English

Agentic retrieval-augmented generation (RAG) extends static RAG by allowing language models to iteratively reason, generate search queries, retrieve evidence, and predict answers. However, it remains challenging for models to decide when to retrieve, whether to use lexical matching or semantic similarity, and how to control context granularity to prevent irrelevant tokens from interfering with agent reasoning. In this paper, we introduce GRASP, a reinforcement learning (RL) framework for training agents to adaptively coordinate complementary retrieval tools during multi-step reasoning. GRASP provides the agent with semantic search, keyword search, and paragraph-reading actions, enabling it to retrieve sentence-level evidence and expand further context only when needed. We train the policy with a reward that jointly accounts for answer accuracy, grounded reading, complementary search, and turn efficiency. Experiments on multi-hop reasoning benchmarks show that GRASP improves both retrieval recall and downstream question answering performance compared with single-step retrieval, prompting-based agentic RAG, and RL-based retrieval baselines. Qualitative and ablation analyses show that the learned policy develops interpretable skimming and scanning behavior: it uses semantic search for broad exploration, paragraph reading for local verification, and keyword search for entity-specific evidence. These results suggest that learning to coordinate retrieval signals and context granularity is critical for agent's correct reasoning.