Dr. Zero: Agentes de búsqueda de auto-evolución sin datos de entrenamiento

Dr. Zero: Self-Evolving Search Agents without Training Data

January 11, 2026

Autores: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang

cs.AI

Resumen

A medida que los datos de alta calidad son cada vez más difíciles de obtener, la auto-evolución sin datos ha surgido como un paradigma prometedor. Este enfoque permite que los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) generen y resuelvan problemas complejos de forma autónoma, mejorando así sus capacidades de razonamiento. Sin embargo, los agentes de búsqueda multi-turno enfrentan dificultades en la auto-evolución sin datos debido a la limitada diversidad de preguntas y a los considerables recursos computacionales requeridos para el razonamiento multi-paso y el uso de herramientas. En este trabajo, presentamos Dr. Zero, un marco que permite a los agentes de búsqueda auto-evolucionar eficazmente sin ningún dato de entrenamiento. En particular, diseñamos un bucle de retroalimentación de auto-evolución en el que un proponente genera preguntas diversas para entrenar a un resolvedor inicializado a partir del mismo modelo base. A medida que el resolvedor evoluciona, incentiva al proponente a producir tareas cada vez más difíciles pero resolubles, estableciendo así un currículum automatizado para refinar a ambos agentes. Para mejorar la eficiencia del entrenamiento, también presentamos la optimización de políticas relativas agrupadas por saltos (HRPO). Este método agrupa preguntas estructuralmente similares para construir líneas de base a nivel de grupo, minimizando efectivamente la sobrecarga de muestreo en la evaluación de la dificultad y solubilidad individual de cada consulta. En consecuencia, HRPO reduce significativamente los requisitos computacionales para el entrenamiento del resolvedor sin comprometer el rendimiento o la estabilidad. Resultados experimentales exhaustivos demuestran que Dr. Zero, operando sin datos, iguala o supera a los agentes de búsqueda totalmente supervisados, probando que capacidades complejas de razonamiento y búsqueda pueden emerger únicamente a través de la auto-evolución.

English

As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.