Dr. Zero：无需训练数据的自进化搜索智能体
Dr. Zero: Self-Evolving Search Agents without Training Data
January 11, 2026
Autori: Zhenrui Yue, Kartikeya Upasani, Xianjun Yang, Suyu Ge, Shaoliang Nie, Yuning Mao, Zhe Liu, Dong Wang
cs.AI
Abstract
Con l'aumentare della difficoltà di reperire dati di alta qualità, l'auto-evoluzione senza dati è emersa come un paradigma promettente. Questo approccio consente ai grandi modelli linguistici (LLM) di generare e risolvere autonomamente problemi complessi, migliorando così le loro capacità di ragionamento. Tuttavia, gli agenti di ricerca multi-turno lottano nell'auto-evoluzione senza dati a causa della limitata diversità delle domande e delle notevoli risorse computazionali richieste per il ragionamento multi-step e l'utilizzo di strumenti. In questo lavoro, introduciamo Dr. Zero, un framework che consente agli agenti di ricerca di auto-evolversi efficacemente senza alcun dato di addestramento. In particolare, progettiamo un ciclo di feedback di auto-evoluzione in cui un *proposer* genera domande diversificate per addestrare un *solver* inizializzato dallo stesso modello base. Man mano che il solver evolve, incentiva il proposer a produrre compiti progressivamente più difficili ma risolvibili, stabilendo così un curriculum automatizzato per affinare entrambi gli agenti. Per migliorare l'efficienza dell'addestramento, introduciamo anche l'ottimizzazione relativa delle politiche raggruppate per hop (HRPO). Questo metodo raggruppa domande strutturalmente simili per costruire baseline a livello di gruppo, minimizzando efficacemente il sovraccarico di campionamento nella valutazione della difficoltà e risolvibilità individuale di ogni query. Di conseguenza, HRPO riduce significativamente i requisiti computazionali per l'addestramento del solver senza compromettere prestazioni o stabilità. I risultati di esperimenti estensivi dimostrano che il Dr. Zero senza dati eguaglia o supera gli agenti di ricerca supervisionati, dimostrando che complesse capacità di ragionamento e ricerca possono emergere unicamente attraverso l'auto-evoluzione.
English
As high-quality data becomes increasingly difficult to obtain, data-free self-evolution has emerged as a promising paradigm. This approach allows large language models (LLMs) to autonomously generate and solve complex problems, thereby improving their reasoning capabilities. However, multi-turn search agents struggle in data-free self-evolution due to the limited question diversity and the substantial compute required for multi-step reasoning and tool using. In this work, we introduce Dr. Zero, a framework enabling search agents to effectively self-evolve without any training data. In particular, we design a self-evolution feedback loop where a proposer generates diverse questions to train a solver initialized from the same base model. As the solver evolves, it incentivizes the proposer to produce increasingly difficult yet solvable tasks, thus establishing an automated curriculum to refine both agents. To enhance training efficiency, we also introduce hop-grouped relative policy optimization (HRPO). This method clusters structurally similar questions to construct group-level baselines, effectively minimizing the sampling overhead in evaluating each query's individual difficulty and solvability. Consequently, HRPO significantly reduces the compute requirements for solver training without compromising performance or stability. Extensive experiment results demonstrate that the data-free Dr. Zero matches or surpasses fully supervised search agents, proving that complex reasoning and search capabilities can emerge solely through self-evolution.