Tool-R0: Zelf-evoluerende LLM-agents voor tool-leren zonder startgegevens

Tool-R0: Self-Evolving LLM Agents for Tool-Learning from Zero Data

February 24, 2026

Auteurs: Emre Can Acikgoz, Cheng Qian, Jonas Hübotter, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Samenvatting

Grote taalmodellen (LLM's) vormen steeds vaker de basis voor autonome agents die tools kunnen gebruiken om complexe taken op te lossen. Reinforcement learning (RL) is een gangbare benadering geworden om dergelijke agent-mogelijkheden in te brengen, maar gebeurt doorgaans onder strikt gecontroleerde trainingsopstellingen. Het is vaak afhankelijk van zorgvuldig geconstrueerde taak-oplossingsparen en aanzienlijk menselijk toezicht, wat een fundamentele belemmering vormt voor open-einde zelf-evolutie richting superintelligente systemen. In dit artikel stellen we het Tool-R0-framework voor voor het trainen van algemene tool-aanroepende agents vanaf nul met self-play RL, onder een nul-data-aanname. Geïnitialiseerd vanuit hetzelfde basis-LLM, laat Tool-R0 een Generator en een Solver co-evolueren met complementaire beloningen: de ene stelt gerichte uitdagende taken voor aan de grenzen van de competentie van de andere, en de andere leert deze op te lossen met echte tool-aanroepingen. Dit creëert een zelf-evoluerende cyclus die geen bestaande taken of datasets vereist. Evaluatie op verschillende tool-gebruik benchmarks toont aan dat Tool-R0 een relatieve verbetering van 92,5% oplevert ten opzichte van het basismodel en volledig gesuperviseerde tool-aanroep-baselines onder dezelfde omstandigheden overtreft. Ons werk biedt verder empirische inzichten in self-play LLM-agents door co-evolutie, curriculumdynamiek en schaalgedrag te analyseren.

English

Large language models (LLMs) are becoming the foundation for autonomous agents that can use tools to solve complex tasks. Reinforcement learning (RL) has emerged as a common approach for injecting such agentic capabilities, but typically under tightly controlled training setups. It often depends on carefully constructed task-solution pairs and substantial human supervision, which creates a fundamental obstacle to open-ended self-evolution toward superintelligent systems. In this paper, we propose Tool-R0 framework for training general purpose tool-calling agents from scratch with self-play RL, under a zero-data assumption. Initialized from the same base LLM, Tool-R0 co-evolves a Generator and a Solver with complementary rewards: one proposes targeted challenging tasks at the other's competence frontier and the other learns to solve them with real-world tool calls. This creates a self-evolving cycle that requires no pre-existing tasks or datasets. Evaluation on different tool-use benchmarks show that Tool-R0 yields 92.5 relative improvement over the base model and surpasses fully supervised tool-calling baselines under the same setting. Our work further provides empirical insights into self-play LLM agents by analyzing co-evolution, curriculum dynamics, and scaling behavior.