Dr. Zero: Agentes de Busca com Auto-Evolução sem Dados de Treinamento
Dr. Zero: Self-Evolving Search Agents without Training Data
January 11, 2026
Autores: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang
cs.AI
Resumo
À medida que a obtenção de dados de alta qualidade se torna cada vez mais difícil, a auto-evolução sem dados emergiu como um paradigma promissor. Esta abordagem permite que os grandes modelos de linguagem (LLMs) gerem e resolvam problemas complexos de forma autónoma, melhorando assim as suas capacidades de raciocínio. No entanto, os agentes de busca multi-turno enfrentam dificuldades na auto-evolução sem dados devido à diversidade limitada de perguntas e ao substancial poder computacional necessário para o raciocínio multi-etapa e a utilização de ferramentas. Neste trabalho, apresentamos o Dr. Zero, uma estrutura que permite aos agentes de busca auto-evoluírem eficazmente sem quaisquer dados de treino. Em particular, concebemos um ciclo de feedback de auto-evolução no qual um proponente gera perguntas diversificadas para treinar um resolvedor inicializado a partir do mesmo modelo base. À medida que o resolvedor evolui, incentiva o proponente a produzir tarefas progressivamente mais difíceis, mas ainda solucionáveis, estabelecendo assim um currículo automatizado para aperfeiçoar ambos os agentes. Para melhorar a eficiência do treino, introduzimos também a otimização de política relativa agrupada por saltos (HRPO). Este método agrupa perguntas estruturalmente semelhantes para construir linhas de base a nível de grupo, minimizando eficazmente a sobrecarga de amostragem na avaliação da dificuldade e solucionabilidade individuais de cada consulta. Consequentemente, a HRPO reduz significativamente os requisitos computacionais para o treino do resolvedor sem comprometer o desempenho ou a estabilidade. Resultados experimentais extensivos demonstram que o Dr. Zero sem dados iguala ou supera os agentes de busca totalmente supervisionados, provando que capacidades complexas de raciocínio e busca podem emergir apenas através da auto-evolução.
English
As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.