스마트서치: 검색 에이전트를 위한 보안 기반 쿼리 정제 프로세스

SmartSearch: Process Reward-Guided Query Refinement for Search Agents

January 8, 2026

저자: Tongyu Wen, Guanting Dong, Zhicheng Dou

cs.AI

초록

대규모 언어 모델(LLM) 기반 검색 에이전트는 정보 검색 기능을 통합하여 지식 집약적 문제 해결에 유망한 가능성을 보여주고 있습니다. 기존 연구는 주로 검색 에이전트의 추론 패러다임 최적화에 초점을 맞추고 있으며, 추론 과정에서 생성되는 중간 검색 질의의 질적 향상은 간과되어 왔습니다. 그 결과 생성되는 질의는 종종 부정확하여 예상치 못한 검색 결과를 초래하고, 궁극적으로 검색 에이전트의 전반적 성능을 제한합니다. 이러한 문제를 완화하기 위해 본 논문에서는 두 가지 핵심 메커니즘을 기반으로 한 SmartSearch 프레임워크를 소개합니다: (1) 이중 수준 신용 평가를 통해 각 중간 검색 질의의 질에 대한 세밀한 감독을 제공하는 과정 보상. (2) 질의 정제를 통해 저품질 검색 질의를 선택적으로 개선하고, 이 정제된 내용을 바탕으로 후속 검색 라운드를 재생성함으로써 질의 생성 최적화를 촉진하는 메커니즘. 검색 에이전트가 과정 보상의 지도 하에 질의 품질 향상 능력을 점진적으로 내재화할 수 있도록, 모방에서 정렬을 거쳐 최종적으로 일반화에 이르는 3단계 커리큘럼 학습 프레임워크를 설계하였습니다. 실험 결과, SmartSearch는 기존 베이스라인을 지속적으로 능가하며, 추가 정량 분석을 통해 검색 효율성과 질의 품질 모두에서 유의미한 성능 향상을 확인하였습니다. 코드는 https://github.com/MYVAE/SmartSearch에서 확인할 수 있습니다.

English

Large language model (LLM)-based search agents have proven promising for addressing knowledge-intensive problems by incorporating information retrieval capabilities. Existing works largely focus on optimizing the reasoning paradigms of search agents, yet the quality of intermediate search queries during reasoning remains overlooked. As a result, the generated queries often remain inaccurate, leading to unexpected retrieval results and ultimately limiting search agents' overall effectiveness. To mitigate this issue, we introduce SmartSearch, a framework built upon two key mechanisms: (1) Process rewards, which provide fine-grained supervision for the quality of each intermediate search query through Dual-Level Credit Assessment. (2) Query refinement, which promotes the optimization of query generation by selectively refining low-quality search queries and regenerating subsequent search rounds based on these refinements. To enable the search agent to progressively internalize the ability to improve query quality under the guidance of process rewards, we design a three-stage curriculum learning framework. This framework guides the agent through a progression from imitation, to alignment, and ultimately to generalization. Experimental results show that SmartSearch consistently surpasses existing baselines, and additional quantitative analyses further confirm its significant gains in both search efficiency and query quality. The code is available at https://github.com/MYVAE/SmartSearch.