Herramienta-R0: Agentes LLM de Auto-evolución para el Aprendizaje de Herramientas desde Cero Datos

Tool-R0: Self-Evolving LLM Agents for Tool-Learning from Zero Data

February 24, 2026

Autores: Emre Can Acikgoz, Cheng Qian, Jonas Hübotter, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

cs.AI

Resumen

Los grandes modelos de lenguaje (LLM) se están convirtiendo en la base para agentes autónomos capaces de utilizar herramientas para resolver tareas complejas. El aprendizaje por refuerzo (RL) ha surgido como un enfoque común para inyectar dichas capacidades de agente, pero normalmente bajo configuraciones de entrenamiento muy controladas. Este método suele depender de pares tarea-solución cuidadosamente construidos y de una supervisión humana sustancial, lo que crea un obstáculo fundamental para la autoevolución abierta hacia sistemas superinteligentes. En este artículo, proponemos el marco Tool-R0 para entrenar agentes de uso de herramientas de propósito general desde cero con aprendizaje por refuerzo de autojuego, bajo una suposición de datos cero. Inicializado desde el mismo LLM base, Tool-R0 co-evoluciona un Generador y un Solucionador con recompensas complementarias: uno propone tareas desafiantes dirigidas en la frontera de competencia del otro, y el otro aprende a resolverlas mediante llamadas a herramientas del mundo real. Esto crea un ciclo de autoevolución que no requiere tareas o conjuntos de datos preexistentes. La evaluación en diferentes benchmarks de uso de herramientas muestra que Tool-R0 produce una mejora relativa del 92.5 % sobre el modelo base y supera a los baselines de uso de herramientas totalmente supervisados bajo la misma configuración. Nuestro trabajo proporciona además perspectivas empíricas sobre los agentes LLM de autojuego mediante el análisis de la co-evolución, la dinámica curricular y el comportamiento de escalado.

English

Large language models (LLMs) are becoming the foundation for autonomous agents that can use tools to solve complex tasks. Reinforcement learning (RL) has emerged as a common approach for injecting such agentic capabilities, but typically under tightly controlled training setups. It often depends on carefully constructed task-solution pairs and substantial human supervision, which creates a fundamental obstacle to open-ended self-evolution toward superintelligent systems. In this paper, we propose Tool-R0 framework for training general purpose tool-calling agents from scratch with self-play RL, under a zero-data assumption. Initialized from the same base LLM, Tool-R0 co-evolves a Generator and a Solver with complementary rewards: one proposes targeted challenging tasks at the other's competence frontier and the other learns to solve them with real-world tool calls. This creates a self-evolving cycle that requires no pre-existing tasks or datasets. Evaluation on different tool-use benchmarks show that Tool-R0 yields 92.5 relative improvement over the base model and surpasses fully supervised tool-calling baselines under the same setting. Our work further provides empirical insights into self-play LLM agents by analyzing co-evolution, curriculum dynamics, and scaling behavior.