SAGE: Управляемая агентная генерация данных для глубокого поиска с обратной связью по исполнению
SAGE: Steerable Agentic Data Generation for Deep Search with Execution Feedback
January 26, 2026
Авторы: Fangyuan Xu, Rujun Han, Yanfei Chen, Zifeng Wang, I-Hung Hsu, Jun Yan, Vishy Tirumalashetty, Eunsol Choi, Tomas Pfister, Chen-Yu Lee
cs.AI
Аннотация
Глубокие поисковые агенты, предназначенные для ответов на сложные вопросы, требующие рассуждений по множеству документов, могут значительно ускорить процесс поиска информации. Сбор человеческих аннотаций для этой задачи является чрезмерно дорогостоящим из-за длинных и сложных траекторий исследования. Мы предлагаем агентный конвейер, который автоматически генерирует высококачественные пары "вопрос-ответ" для глубокого поиска с контролируемой сложностью для заданного корпуса и целевого уровня трудности. Наш конвейер SAGE состоит из генератора данных, который предлагает пары "вопрос-ответ", и поискового агента, который пытается решить сгенерированный вопрос и предоставляет обратную связь по выполнению для генератора данных. Два компонента взаимодействуют в течение нескольких раундов, чтобы итеративно улучшать пары "вопрос-ответ" до достижения целевого уровня сложности. Наша внутренняя оценка показывает, что SAGE генерирует вопросы, требующие разнообразных стратегий рассуждений, при этом значительно повышая корректность и сложность генерируемых данных. Наша внешняя оценка демонстрирует до 23% относительного улучшения производительности на популярных бенчмарках глубокого поиска при обучении агентов на наших синтетических данных. Дополнительные эксперименты показывают, что агенты, обученные на наших данных, могут адаптироваться от поиска в фиксированном корпусе к поиску в Google во время вывода без дополнительного обучения.
English
Deep search agents, which aim to answer complex questions requiring reasoning across multiple documents, can significantly speed up the information-seeking process. Collecting human annotations for this application is prohibitively expensive due to long and complex exploration trajectories. We propose an agentic pipeline that automatically generates high quality, difficulty-controlled deep search question-answer pairs for a given corpus and a target difficulty level. Our pipeline, SAGE, consists of a data generator which proposes QA pairs and a search agent which attempts to solve the generated question and provide execution feedback for the data generator. The two components interact over multiple rounds to iteratively refine the question-answer pairs until they satisfy the target difficulty level. Our intrinsic evaluation shows SAGE generates questions that require diverse reasoning strategies, while significantly increases the correctness and difficulty of the generated data. Our extrinsic evaluation demonstrates up to 23% relative performance gain on popular deep search benchmarks by training deep search agents with our synthetic data. Additional experiments show that agents trained on our data can adapt from fixed-corpus retrieval to Google Search at inference time, without further training.