Pourquoi l'apprentissage par renforcement à utilisation d'outils en plusieurs étapes s'effondre et comment les signaux de supervision le corrigent

Résumé

L'utilisation d'outils permet aux grands modèles de langage (LLMs) d'effectuer des tâches complexes, et les récentes méthodes d'apprentissage par renforcement (RL) agentiques montrent des promesses pour améliorer les capacités des modèles. Cependant, le RL seul conduit souvent à une instabilité ou à des gains limités dans les tâches d'utilisation d'outils. Dans nos expériences, certains modèles présentent un effondrement catastrophique, où la performance chute brusquement et les structures d'invocation d'outils échouent. L'analyse révèle que ces échecs proviennent de pics de probabilité inattendus dans des tokens de contrôle spécifiques, perturbant l'exécution structurée, bien que la capacité sous-jacente d'utilisation d'outils reste intacte, simplement obscurcie par des formats spécifiques. Pour y remédier, nous étudions systématiquement un ensemble diversifié de signaux de supervision, incluant la supervision hors politique, le guidage basé sur des indices, la supervision par exemples erronés, et d'autres, appliqués sous des schémas d'entraînement synchrones et entrelacés. Nous constatons que l'entrelacement du fine-tuning supervisé (SFT) avec le RL améliore considérablement la stabilité, mais présente une performance dégradée lors de l'évaluation hors distribution (OOD) en termes de format et de contenu. Nous analysons également l'impact des taux d'apprentissage et de la généralisation à travers différents contextes. Ces résultats soulignent l'importance de comprendre les échecs du RL et démontrent comment divers signaux de supervision peuvent guider l'apprentissage exploratoire, permettant un entraînement robuste des LLMs pour des tâches complexes d'utilisation d'outils en plusieurs étapes. Notre code est disponible à l'adresse https://github.com/hypasd-art/Tool-RL-Box.

English

Tool use enables large language models (LLMs) to perform complex tasks, and recent agentic reinforcement learning (RL) methods show promise for enhancing model capabilities. However, RL alone often leads to instability or limited gains in tool-use tasks. In our experiments, some models exhibit catastrophic collapse, where performance abruptly drops and tool-invocation structures fail. The analysis reveals that these failures stem from unexpected probability spikes in specific control tokens, disrupting structured execution, yet the underlying tool-use capability remains intact, merely obscured by specific formats. To address this, we systematically investigate a diverse set of supervisory signals, including off-policy supervision, hint-based guidance, erroneous example supervision, and others, applied under both synchronous and interleaved training schemes. We find that interleaving supervised fine-tuning (SFT) with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation. We also analyze the impact of learning rates and generalization across settings. These results highlight the importance of understanding RL failures and demonstrate how diverse supervisory signals can guide exploratory learning, enabling robust training of LLMs for complex, multi-step tool-use tasks. Our Code is available at https://github.com/hypasd-art/Tool-RL-Box.