Dr. Zero: Zelf-evoluerende zoekagentschappen zonder trainingsgegevens
Dr. Zero: Self-Evolving Search Agents without Training Data
January 11, 2026
Auteurs: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang
cs.AI
Samenvatting
Naarmate hoogwaardige data steeds moeilijker verkrijgbaar wordt, is data-vrije zelf-evolutie naar voren gekomen als een veelbelovend paradigma. Deze aanpak stelt grote taalmodellen (LLM's) in staat om autonoom complexe problemen te genereren en op te lossen, waardoor hun redeneervermogen verbetert. Echter, multi-turn zoekagentschappen worstelen binnen data-vrije zelf-evolutie vanwege de beperkte vraagdiversiteit en de aanzienlijke rekenkracht die nodig is voor meerstaps redeneren en toolgebruik. In dit werk introduceren we Dr. Zero, een raamwerk dat zoekagentschappen in staat stelt effectief zelf te evolueren zonder enige trainingsdata. Specifiek ontwerpen we een zelf-evolutie feedbacklus waarin een voorsteller diverse vragen genereert om een oplosser te trainen, geïnitialiseerd vanuit hetzelfde basismodel. Terwijl de oplosser evolueert, stimuleert deze de voorsteller om steeds moeilijkere maar oplosbare taken te produceren, waardoor een geautomatiseerd curriculum ontstaat om beide agentschappen te verfijnen. Om de trainingsefficiëntie te verbeteren, introduceren we ook hop-gesorteelde relatieve beleidsoptimalisatie (HRPO). Deze methode groepeert structureel vergelijkbare vragen om groepsniveau-basislijnen te construeren, waardoor de steekproefoverhead voor het evalueren van de individuele moeilijkheidsgraad en oplosbaarheid van elke query effectief wordt geminimaliseerd. Hierdoor vermindert HRPO de rekenvereisten voor de training van de oplosser aanzienlijk, zonder in te leveren op prestaties of stabiliteit. Uitgebreide experimentele resultaten tonen aan dat de data-vrije Dr. Zero gelijk presteert aan of superieur is aan volledig gesuperviseerde zoekagentschappen, wat aantoont dat complexe redeneer- en zoekcapaciteiten uitsluitend kunnen ontstaan door zelf-evolutie.
English
As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.