Dr. Zero : Agents de recherche auto-évolutifs sans données d'entraînement

Dr. Zero: Self-Evolving Search Agents without Training Data

January 11, 2026

papers.authors: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang

cs.AI

papers.abstract

Alors que l’obtention de données de haute qualité devient de plus en plus difficile, l’auto-évolution sans données s’impose comme un paradigme prometteur. Cette approche permet aux grands modèles de langage (LLM) de générer et de résoudre de manière autonome des problèmes complexes, améliorant ainsi leurs capacités de raisonnement. Cependant, les agents de recherche multi-tours peinent dans ce cadre en raison de la diversité limitée des questions et des ressources computationnelles importantes requises pour le raisonnement multi-étapes et l’utilisation d’outils. Dans ce travail, nous présentons Dr. Zero, un cadre permettant aux agents de recherche de s’auto-évoluer efficacement sans aucune donnée d’entraînement. Nous concevons notamment une boucle de rétroaction d’auto-évolution dans laquelle un proposeur génère des questions variées pour entraîner un solveur initialisé à partir du même modèle de base. Au fur et à mesure que le solveur évolue, il incite le proposeur à produire des tâches de plus en plus difficiles mais solubles, établissant ainsi un curriculum automatisé pour perfectionner les deux agents. Pour améliorer l’efficacité de l’entraînement, nous introduisons également l’optimisation relative des politiques par groupement de sauts (HRPO). Cette méthode regroupe les questions structurellement similaires pour construire des bases de référence au niveau du groupe, réduisant efficacement la surcharge d’échantillonnage liée à l’évaluation individuelle de la difficulté et de la solvabilité de chaque requête. Par conséquent, HRPO réduit significativement les besoins computationnels pour l’entraînement du solveur sans compromettre les performances ou la stabilité. Des résultats expérimentaux approfondis démontrent que Dr. Zero, bien que sans données, égale ou dépasse les agents de recherche supervisés, prouvant que des capacités complexes de raisonnement et de recherche peuvent émerger uniquement par auto-évolution.

English

As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.