Доктор Зеро: Самосовершенствующиеся поисковые агенты без обучающих данных
Dr. Zero: Self-Evolving Search Agents without Training Data
January 11, 2026
Авторы: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang
cs.AI
Аннотация
Поскольку получение качественных данных становится все более сложной задачей, саморазвитие без данных (data-free self-evolution) стало перспективной парадигмой. Этот подход позволяет большим языковым моделям (LLM) автономно генерировать и решать сложные задачи, тем самым улучшая их способности к рассуждению. Однако многошаговые поисковые агенты сталкиваются с трудностями в саморазвитии без данных из-за ограниченного разнообразия генерируемых вопросов и значительных вычислительных ресурсов, требуемых для многошаговых рассуждений и использования инструментов.
В данной работе мы представляем Dr. Zero — фреймворк, который позволяет поисковым агентам эффективно саморазвиваться без каких-либо обучающих данных. В частности, мы разработали петлю обратной связи саморазвития, в которой *генератор* (proposer) создает разнообразные вопросы для обучения *решателя* (solver), инициализированного на основе той же базовой модели. По мере эволюции решателя он стимулирует генератор производить все более сложные, но при этом решаемые задачи, создавая таким образом автоматизированный учебный план для совершенствования обоих агентов.
Для повышения эффективности обучения мы также представляем метод оптимизации относительной политики с группировкой по шагам (hop-grouped relative policy optimization, HRPO). Этот метод группирует структурно схожие вопросы для построения групповых базовых уровней, что позволяет эффективно минимизировать вычислительные затраты на оценку индивидуальной сложности и разрешимости каждого запроса. Как следствие, HRPO значительно сокращает вычислительные требования для обучения решателя без ущерба для производительности или стабильности.
Результаты многочисленных экспериментов демонстрируют, что Dr. Zero, работающий без данных, соответствует или превосходит полностью обученных с учителем поисковых агентов, доказывая, что сложные способности к рассуждениям и поиску могут возникать исключительно за счет саморазвития.
English
As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.