SAGE: Stuurbaar Agent-gebaseerd Datageneratie voor Diepzoeken met Uitvoeringsfeedback
SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback
January 26, 2026
Auteurs: Fangyuan Xu, Rujun Han, Yanfei Chen, Zifeng Wang, I-Hung Hsu, Jun Yan, Vishy Tirumalashetty, Eunsol Choi, Tomas Pfister, Chen-Yu Lee
cs.AI
Samenvatting
Deep search agents, die tot doel hebben complexe vragen te beantwoorden die redenering over meerdere documenten vereisen, kunnen het informatiezoekproces aanzienlijk versnellen. Het verzamelen van menselijke annotaties voor deze toepassing is buitengewoon kostbaar vanwege lange en complexe onderzoektrajecten. Wij stellen een pijplijn met agenten voor die automatisch hoogwaardige, op moeilijkheidsgraad gecontroleerde vraag-antwoordparen voor deep search genereert voor een gegeven corpus en een beoogd moeilijkheidsniveau. Onze pijplijn, SAGE, bestaat uit een datagenerator die QA-paren voorstelt en een zoekagent die de gegenereerde vraag probeert op te lossen en uitvoeringsfeedback verschaft aan de datagenerator. De twee componenten interacteren over meerdere ronden om de vraag-antwoordparen iteratief te verfijnen totdat ze voldoen aan het beoogde moeilijkheidsniveau. Onze intrinsieke evaluatie toont aan dat SAGE vragen genereert die uiteenlopende redeneerstrategieën vereisen, terwijl de correctheid en moeilijkheidsgraad van de gegenereerde data aanzienlijk toenemen. Onze extrinsieke evaluatie laat een relatieve prestatieverbetering van tot 23% zien op populaire deep search benchmarks door deep search agents te trainen met onze synthetische data. Aanvullende experimenten tonen aan dat agents getraind op onze data zich tijdens inferentie kunnen aanpassen van retrieval binnen een vast corpus naar Google Search, zonder verdere training.
English
Deep search agents, which aim to answer complex questions requiring reasoning across multiple documents, can significantly speed up the information-seeking process. Collecting human annotations for this application is prohibitively expensive due to long and complex exploration trajectories. We propose an agentic pipeline that automatically generates high quality, difficulty-controlled deep search question-answer pairs for a given corpus and a target difficulty level. Our pipeline, SAGE, consists of a data generator which proposes QA pairs and a search agent which attempts to solve the generated question and provide execution feedback for the data generator. The two components interact over multiple rounds to iteratively refine the question-answer pairs until they satisfy the target difficulty level. Our intrinsic evaluation shows SAGE generates questions that require diverse reasoning strategies, while significantly increases the correctness and difficulty of the generated data. Our extrinsic evaluation demonstrates up to 23% relative performance gain on popular deep search benchmarks by training deep search agents with our synthetic data. Additional experiments show that agents trained on our data can adapt from fixed-corpus retrieval to Google Search at inference time, without further training.