Warum mehrstufiges Werkzeugnutzungs-Verstärkungslernen kollabiert und wie Aufsichtssignale es beheben

Zusammenfassung

Der Einsatz von Werkzeugen ermöglicht es großen Sprachmodellen (LLMs), komplexe Aufgaben auszuführen, und neuere Methoden des agentischen Reinforcement Learning (RL) versprechen eine Verbesserung der Modellfähigkeiten. Allerdings führt RL allein bei Werkzeugnutzungsaufgaben häufig zu Instabilität oder nur begrenzten Verbesserungen. In unseren Experimenten zeigen einige Modelle einen katastrophalen Zusammenbruch, bei dem die Leistung abrupt abfällt und die Strukturen des Werkzeugaufrufs versagen. Die Analyse zeigt, dass diese Fehlschläge auf unerwartete Wahrscheinlichkeitsspitzen in bestimmten Steuertoken zurückzuführen sind, die die strukturierte Ausführung stören, während die zugrundeliegende Fähigkeit zur Werkzeugnutzung intakt bleibt – lediglich durch bestimmte Formate überdeckt wird. Um dies zu adressieren, untersuchen wir systematisch eine Reihe unterschiedlicher Überwachungssignale, darunter Off-Policy-Überwachung, hinweisbasierte Führung, Überwachung durch fehlerhafte Beispiele und weitere, die sowohl unter synchronen als auch unter verschachtelten Trainingsschemata angewendet werden. Wir stellen fest, dass die Verschachtelung von überwachtem Feintuning (SFT) mit RL die Stabilität erheblich verbessert, jedoch unter Format- und Inhalts-Out-of-Distribution (OOD)-Bewertung eine verminderte Leistung aufweist. Zudem analysieren wir die Auswirkungen von Lernraten und die Generalisierung über verschiedene Einstellungen hinweg. Diese Ergebnisse unterstreichen die Bedeutung des Verständnisses von RL-Fehlschlägen und zeigen, wie vielfältige Überwachungssignale exploratives Lernen leiten können, um ein robustes Training von LLMs für komplexe, mehrschrittige Werkzeugnutzungsaufgaben zu ermöglichen. Unser Code ist verfügbar unter https://github.com/hypasd-art/Tool-RL-Box.

English

Tool use enables large language models (LLMs) to perform complex tasks, and recent agentic reinforcement learning (RL) methods show promise for enhancing model capabilities. However, RL alone often leads to instability or limited gains in tool-use tasks. In our experiments, some models exhibit catastrophic collapse, where performance abruptly drops and tool-invocation structures fail. The analysis reveals that these failures stem from unexpected probability spikes in specific control tokens, disrupting structured execution, yet the underlying tool-use capability remains intact, merely obscured by specific formats. To address this, we systematically investigate a diverse set of supervisory signals, including off-policy supervision, hint-based guidance, erroneous example supervision, and others, applied under both synchronous and interleaved training schemes. We find that interleaving supervised fine-tuning (SFT) with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation. We also analyze the impact of learning rates and generalization across settings. These results highlight the importance of understanding RL failures and demonstrate how diverse supervisory signals can guide exploratory learning, enabling robust training of LLMs for complex, multi-step tool-use tasks. Our Code is available at https://github.com/hypasd-art/Tool-RL-Box.