Tool-R0 : Agents LLM auto-évolutifs pour l'apprentissage d'outils à partir de données nulles

Tool-R0: Self-Evolving LLM Agents for Tool-Learning from Zero Data

February 24, 2026

Auteurs: Emre Can Acikgoz, Cheng Qian, Jonas Hübotter, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Résumé

Les grands modèles de langage (LLM) deviennent la base d'agents autonomes capables d'utiliser des outils pour résoudre des tâches complexes. L'apprentissage par renforcement (RL) s'est imposé comme une approche courante pour doter ces agents de telles capacités, mais généralement dans des cadres d'entraînement très contrôlés. Cette méthode repose souvent sur des paires tâche-solution soigneusement construites et une supervision humaine importante, ce qui constitue un obstacle fondamental à une auto-évolution ouverte vers des systèmes superintelligents. Dans cet article, nous proposons le cadre Tool-R0 pour entraîner des agents polyvalents d'appel d'outils à partir de zéro avec un RL par auto-jeu, sous l'hypothèse de données zéro. Initialisé à partir du même LLM de base, Tool-R0 fait co-évoluer un Générateur et un Solveur avec des récompenses complémentaires : l'un propose des tâches ciblées et difficiles à la limite des compétences de l'autre, et l'autre apprend à les résoudre avec des appels d'outils réels. Cela crée un cycle d'auto-évolution qui ne nécessite aucune tâche ou jeu de données préexistant. L'évaluation sur différents benchmarks d'utilisation d'outils montre que Tool-R0 permet une amélioration relative de 92,5 % par rapport au modèle de base et surpasse les modèles de référence supervisés pour l'appel d'outils dans le même cadre. Notre travail fournit en outre des insights empiriques sur les agents LLM par auto-jeu en analysant la co-évolution, la dynamique du curriculum et le comportement à l'échelle.

English

Large language models (LLMs) are becoming the foundation for autonomous agents that can use tools to solve complex tasks. Reinforcement learning (RL) has emerged as a common approach for injecting such agentic capabilities, but typically under tightly controlled training setups. It often depends on carefully constructed task-solution pairs and substantial human supervision, which creates a fundamental obstacle to open-ended self-evolution toward superintelligent systems. In this paper, we propose Tool-R0 framework for training general purpose tool-calling agents from scratch with self-play RL, under a zero-data assumption. Initialized from the same base LLM, Tool-R0 co-evolves a Generator and a Solver with complementary rewards: one proposes targeted challenging tasks at the other's competence frontier and the other learns to solve them with real-world tool calls. This creates a self-evolving cycle that requires no pre-existing tasks or datasets. Evaluation on different tool-use benchmarks show that Tool-R0 yields 92.5 relative improvement over the base model and surpasses fully supervised tool-calling baselines under the same setting. Our work further provides empirical insights into self-play LLM agents by analyzing co-evolution, curriculum dynamics, and scaling behavior.