スマートサーチ：検索エージェントにおける報酬誘導型クエリ精緻化プロセス

SmartSearch: Process Reward-Guided Query Refinement for Search Agents

January 8, 2026

著者: Tongyu Wen, Guanting Dong, Zhicheng Dou

cs.AI

要旨

大規模言語モデル（LLM）ベースの検索エージェントは、情報検索機能を組み込むことで知識集約型問題の解決において有望な成果を示している。既存研究は主に検索エージェントの推論パラダイムの最適化に焦点を当てているが、推論過程で生成される中間検索クエリの品質については十分に検討されていない。その結果、生成されるクエリは不正確なままであることが多く、予期せぬ検索結果を招き、最終的に検索エージェントの総合的な有効性を制限している。この問題を緩和するため、我々はSmartSearchを提案する。本フレームワークは以下の二つの主要メカニズムに基づく：（1）**プロセス報酬**：二段階信用評価を通じて各中間検索クエリの品質に対してきめ細かい監督を提供する。（2）**クエリ改良**：低品質の検索クエリを選択的に改良し、これらの改良に基づいて後続の検索ラウンドを再生成することで、クエリ生成の最適化を促進する。検索エージェントがプロセス報酬の指導の下でクエリ品質向上能力を段階的に内在化できるようにするため、模倣から調整、最終的に汎化へと進む三段階のカリキュラム学習フレームワークを設計した。実験結果では、SmartSearchが既存のベースラインを一貫して上回り、追加の定量的分析により検索効率とクエリ品質の両面で有意な向上が確認された。コードはhttps://github.com/MYVAE/SmartSearch で公開されている。

English

Large language model (LLM)-based search agents have proven promising for addressing knowledge-intensive problems by incorporating information retrieval capabilities. Existing works largely focus on optimizing the reasoning paradigms of search agents, yet the quality of intermediate search queries during reasoning remains overlooked. As a result, the generated queries often remain inaccurate, leading to unexpected retrieval results and ultimately limiting search agents' overall effectiveness. To mitigate this issue, we introduce SmartSearch, a framework built upon two key mechanisms: (1) Process rewards, which provide fine-grained supervision for the quality of each intermediate search query through Dual-Level Credit Assessment. (2) Query refinement, which promotes the optimization of query generation by selectively refining low-quality search queries and regenerating subsequent search rounds based on these refinements. To enable the search agent to progressively internalize the ability to improve query quality under the guidance of process rewards, we design a three-stage curriculum learning framework. This framework guides the agent through a progression from imitation, to alignment, and ultimately to generalization. Experimental results show that SmartSearch consistently surpasses existing baselines, and additional quantitative analyses further confirm its significant gains in both search efficiency and query quality. The code is available at https://github.com/MYVAE/SmartSearch.