Por qué colapsa el aprendizaje por refuerzo de uso de herramientas en múltiples pasos y cómo las señales de supervisión lo corrigen

Resumen

El uso de herramientas permite que los grandes modelos de lenguaje (LLMs) realicen tareas complejas, y los métodos recientes de aprendizaje por refuerzo (RL) de tipo agente muestran potencial para mejorar las capacidades del modelo. Sin embargo, el RL por sí solo a menudo conduce a inestabilidad o ganancias limitadas en tareas que implican el uso de herramientas. En nuestros experimentos, algunos modelos presentan un colapso catastrófico, donde el rendimiento cae abruptamente y las estructuras de invocación de herramientas fallan. El análisis revela que estos fallos se originan en picos de probabilidad inesperados en tokens de control específicos, lo que interrumpe la ejecución estructurada, aunque la capacidad subyacente de uso de herramientas permanece intacta, simplemente oscurecida por formatos concretos. Para abordar esto, investigamos sistemáticamente un conjunto diverso de señales de supervisión, incluyendo supervisión fuera de política (off-policy), guía basada en pistas, supervisión mediante ejemplos erróneos y otras, aplicadas tanto en esquemas de entrenamiento sincrónicos como intercalados. Encontramos que intercalar el ajuste fino supervisado (SFT) con RL mejora sustancialmente la estabilidad, pero presenta un rendimiento degradado bajo evaluaciones fuera de distribución (OOD) en formato y contenido. También analizamos el impacto de las tasas de aprendizaje y la generalización en distintos escenarios. Estos resultados resaltan la importancia de comprender los fallos del RL y demuestran cómo diversas señales de supervisión pueden guiar el aprendizaje exploratorio, permitiendo un entrenamiento robusto de LLMs para tareas complejas de múltiples pasos que requieren uso de herramientas. Nuestro código está disponible en https://github.com/hypasd-art/Tool-RL-Box.

English

Tool use enables large language models (LLMs) to perform complex tasks, and recent agentic reinforcement learning (RL) methods show promise for enhancing model capabilities. However, RL alone often leads to instability or limited gains in tool-use tasks. In our experiments, some models exhibit catastrophic collapse, where performance abruptly drops and tool-invocation structures fail. The analysis reveals that these failures stem from unexpected probability spikes in specific control tokens, disrupting structured execution, yet the underlying tool-use capability remains intact, merely obscured by specific formats. To address this, we systematically investigate a diverse set of supervisory signals, including off-policy supervision, hint-based guidance, erroneous example supervision, and others, applied under both synchronous and interleaved training schemes. We find that interleaving supervised fine-tuning (SFT) with RL substantially improves stability, but exhibits degraded performance under format and content out-of-distribution (OOD) evaluation. We also analyze the impact of learning rates and generalization across settings. These results highlight the importance of understanding RL failures and demonstrate how diverse supervisory signals can guide exploratory learning, enabling robust training of LLMs for complex, multi-step tool-use tasks. Our Code is available at https://github.com/hypasd-art/Tool-RL-Box.