Mejoras en el Uso de Herramientas Impulsadas por Retroalimentación en Modelos de Lenguaje de Gran Escala mediante Entornos de Construcción Automatizados

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

August 12, 2025

Autores: Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Xuanjing Huang, Jiecao Chen

cs.AI

Resumen

El uso efectivo de herramientas es esencial para que los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) interactúen de manera significativa con su entorno. Sin embargo, el progreso se ve limitado por la falta de marcos de aprendizaje por refuerzo (RL, por sus siglas en inglés) eficientes diseñados específicamente para el uso de herramientas, debido a los desafíos en la construcción de entornos de entrenamiento estables y el diseño de mecanismos de recompensa verificables. Para abordar esto, proponemos una canalización automatizada de construcción de entornos, que incorpora descomposición de escenarios, generación de documentos, integración de funciones, escalado de complejidad y despliegue localizado. Esto permite la creación de entornos de entrenamiento de alta calidad que proporcionan retroalimentación detallada y medible sin depender de herramientas externas. Además, introducimos un mecanismo de recompensa verificable que evalúa tanto la precisión en el uso de herramientas como la completitud en la ejecución de tareas. Cuando se combina con datos de trayectoria recopilados de los entornos construidos, este mecanismo se integra perfectamente con algoritmos estándar de RL para facilitar el entrenamiento del modelo basado en retroalimentación. Los experimentos realizados con LLMs de diferentes escalas demuestran que nuestro enfoque mejora significativamente el rendimiento en el uso de herramientas sin degradar sus capacidades generales, independientemente de los modos de inferencia o los algoritmos de entrenamiento. Nuestro análisis sugiere que estas mejoras resultan de una mejor comprensión del contexto y razonamiento, impulsados por actualizaciones en los parámetros de las capas MLP inferiores de los modelos.

English

Effective tool use is essential for large language models (LLMs) to interact meaningfully with their environment. However, progress is limited by the lack of efficient reinforcement learning (RL) frameworks specifically designed for tool use, due to challenges in constructing stable training environments and designing verifiable reward mechanisms. To address this, we propose an automated environment construction pipeline, incorporating scenario decomposition, document generation, function integration, complexity scaling, and localized deployment. This enables the creation of high-quality training environments that provide detailed and measurable feedback without relying on external tools. Additionally, we introduce a verifiable reward mechanism that evaluates both the precision of tool use and the completeness of task execution. When combined with trajectory data collected from the constructed environments, this mechanism integrates seamlessly with standard RL algorithms to facilitate feedback-driven model training. Experiments on LLMs of varying scales demonstrate that our approach significantly enhances the models' tool-use performance without degrading their general capabilities, regardless of inference modes or training algorithms. Our analysis suggests that these gains result from improved context understanding and reasoning, driven by updates to the lower-layer MLP parameters in models.