SAGE: 実行フィードバックによる深層検索のための操縦可能なエージェント的データ生成
SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback
January 26, 2026
著者: Fangyuan Xu, Rujun Han, Yanfei Chen, Zifeng Wang, I-Hung Hsu, Jun Yan, Vishy Tirumalashetty, Eunsol Choi, Tomas Pfister, Chen-Yu Lee
cs.AI
要旨
複数の文書にまたがる推論を必要とする複雑な質問に答えることを目的とした、ディープサーチエージェントは、情報探索プロセスを大幅に高速化することができる。この応用分野において、長く複雑な探索軌道のために人手によるアノテーションを収集することは、コスト的に非常に困難である。本論文では、与えられたコーパスと目標難易度に対して、高品質で難易度制御されたディープサーチの質問応答ペアを自動生成するエージェント型パイプラインを提案する。我々のパイプラインであるSAGEは、QAペアを提案するデータジェネレータと、生成された質問を解決しようと試み、データジェネレータに実行フィードバックを提供するサーチエージェントで構成される。これら2つのコンポーネントは複数ラウンドにわたって相互作用し、質問応答ペアが目標難易度を満たすまで反復的に改良する。本質的評価により、SAGEが多様な推論戦略を必要とする質問を生成しつつ、生成データの正確性と難易度を大幅に向上させることが示された。外在的評価では、我々の合成データでトレーニングしたディープサーチエージェントが、人気のあるディープサーチベンチマークにおいて最大23%の相対的性能向上を達成することを実証した。追加実験により、我々のデータでトレーニングされたエージェントが、追加のトレーニングなしで、推論時に固定コーパス検索からGoogle検索へ適応できることが示された。
English
Deep search agents, which aim to answer complex questions requiring reasoning across multiple documents, can significantly speed up the information-seeking process. Collecting human annotations for this application is prohibitively expensive due to long and complex exploration trajectories. We propose an agentic pipeline that automatically generates high quality, difficulty-controlled deep search question-answer pairs for a given corpus and a target difficulty level. Our pipeline, SAGE, consists of a data generator which proposes QA pairs and a search agent which attempts to solve the generated question and provide execution feedback for the data generator. The two components interact over multiple rounds to iteratively refine the question-answer pairs until they satisfy the target difficulty level. Our intrinsic evaluation shows SAGE generates questions that require diverse reasoning strategies, while significantly increases the correctness and difficulty of the generated data. Our extrinsic evaluation demonstrates up to 23% relative performance gain on popular deep search benchmarks by training deep search agents with our synthetic data. Additional experiments show that agents trained on our data can adapt from fixed-corpus retrieval to Google Search at inference time, without further training.