Tool-R0: Selbst-evolvierende LLM-Agenten für Tool-Learning ohne Ausgangsdaten
Tool-R0: Self-Evolving LLM Agents for Tool-Learning from Zero Data
February 24, 2026
Autoren: Emre Can Acikgoz, Cheng Qian, Jonas Hübotter, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) bilden zunehmend die Grundlage für autonome Agenten, die Werkzeuge zur Lösung komplexer Aufgaben nutzen können. Reinforcement Learning (RL) hat sich als gängiger Ansatz etabliert, um solche agentenbasierten Fähigkeiten zu vermitteln, jedoch typischerweise unter streng kontrollierten Trainingsbedingungen. Es ist oft auf sorgfältig konstruierte Aufgaben-Lösungs-Paare und erhebliche menschliche Aufsicht angewiesen, was ein grundlegendes Hindernis für die offene Selbstevolution hin zu superintelligenten Systemen darstellt. In diesem Artikel schlagen wir das Tool-R0-Framework vor, um universelle Werkzeug-aufrufende Agenten von Grund auf mit Self-Play-Reinforcement-Learning und unter der Annahme keiner vorgegebenen Daten (Zero-Data) zu trainieren. Vom gleichen Basis-LLM initialisiert, entwickelt Tool-R0 einen Generator und einen Solver mit komplementären Belohnungen koevolutionär weiter: Der eine schlägt gezielt herausfordernde Aufgaben an der Kompetenzgrenze des anderen vor, und der andere lernt, diese mit Aufrufen von Werkzeugen aus der realen Welt zu lösen. Dies schafft einen sich selbst weiterentwickelnden Zyklus, der keine vorgefertigten Aufgaben oder Datensätze erfordert. Evaluationen auf verschiedenen Benchmarks für Werkzeugnutzung zeigen, dass Tool-R0 eine relative Verbesserung von 92,5 % gegenüber dem Basismodell erzielt und unter denselben Bedingungen vollständig überwachte Werkzeug-aufrufende Baseline-Modelle übertrifft. Unsere Arbeit liefert weiterhin empirische Einblicke in Self-Play-LLM-Agenten durch die Analyse von Koevolution, Curriculumdynamik und Skalierungsverhalten.
English
Large language models (LLMs) are becoming the foundation for autonomous agents that can use tools to solve complex tasks. Reinforcement learning (RL) has emerged as a common approach for injecting such agentic capabilities, but typically under tightly controlled training setups. It often depends on carefully constructed task-solution pairs and substantial human supervision, which creates a fundamental obstacle to open-ended self-evolution toward superintelligent systems. In this paper, we propose Tool-R0 framework for training general purpose tool-calling agents from scratch with self-play RL, under a zero-data assumption. Initialized from the same base LLM, Tool-R0 co-evolves a Generator and a Solver with complementary rewards: one proposes targeted challenging tasks at the other's competence frontier and the other learns to solve them with real-world tool calls. This creates a self-evolving cycle that requires no pre-existing tasks or datasets. Evaluation on different tool-use benchmarks show that Tool-R0 yields 92.5 relative improvement over the base model and surpasses fully supervised tool-calling baselines under the same setting. Our work further provides empirical insights into self-play LLM agents by analyzing co-evolution, curriculum dynamics, and scaling behavior.