SAGE: Lenkbare agentenbasierte Datengenerierung für Deep Search mit Ausführungsfeedback
SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback
January 26, 2026
papers.authors: Fangyuan Xu, Rujun Han, Yanfei Chen, Zifeng Wang, I-Hung Hsu, Jun Yan, Vishy Tirumalashetty, Eunsol Choi, Tomas Pfister, Chen-Yu Lee
cs.AI
papers.abstract
Deep-Search-Agents, die darauf abzielen, komplexe Fragen zu beantworten, die eine Verknüpfung von Informationen über mehrere Dokumente hinweg erfordern, können den Informationsbeschaffungsprozess erheblich beschleunigen. Die manuelle Erfassung von Annotationen für diese Anwendung ist aufgrund langer und komplexer Suchpfade jedoch extrem kostspielig. Wir schlagen einen agentenbasierten Prozess vor, der automatisch hochwertige, schwierigkeitskontrollierte Deep-Search-Frage-Antwort-Paare für einen gegebenen Textkorpus und ein Zielschwierigkeitsniveau generiert. Unser Prozess, SAGE, besteht aus einem Datengenerator, der Frage-Antwort-Paare vorschlägt, und einem Suchagenten, der versucht, die generierte Frage zu lösen und Ausführungsfeedback für den Datengenerator bereitzustellen. Die beiden Komponenten interagieren über mehrere Runden hinweg, um die Frage-Antwort-Paare iterativ so lange zu verfeinern, bis sie das Zielschwierigkeitsniveau erfüllen. Unsere intrinsische Evaluation zeigt, dass SAGE Fragen generiert, die unterschiedliche Reasoning-Strategien erfordern, und gleichzeitig die Korrektheit und Schwierigkeit der generierten Daten signifikant erhöht. Unsere extrinsische Evaluation demonstriert einen relativen Leistungszuwachs von bis zu 23 % auf gängigen Deep-Search-Benchmarks durch das Training von Deep-Search-Agents mit unseren synthetischen Daten. Zusätzliche Experimente zeigen, dass Agenten, die mit unseren Daten trainiert wurden, zur Laufzeit ohne weiteres Training von einer festen Korpus-Retrieval- auf eine Google-Search-Umgebung wechseln können.
English
Deep search agents, which aim to answer complex questions requiring reasoning across multiple documents, can significantly speed up the information-seeking process. Collecting human annotations for this application is prohibitively expensive due to long and complex exploration trajectories. We propose an agentic pipeline that automatically generates high quality, difficulty-controlled deep search question-answer pairs for a given corpus and a target difficulty level. Our pipeline, SAGE, consists of a data generator which proposes QA pairs and a search agent which attempts to solve the generated question and provide execution feedback for the data generator. The two components interact over multiple rounds to iteratively refine the question-answer pairs until they satisfy the target difficulty level. Our intrinsic evaluation shows SAGE generates questions that require diverse reasoning strategies, while significantly increases the correctness and difficulty of the generated data. Our extrinsic evaluation demonstrates up to 23% relative performance gain on popular deep search benchmarks by training deep search agents with our synthetic data. Additional experiments show that agents trained on our data can adapt from fixed-corpus retrieval to Google Search at inference time, without further training.