Améliorations pilotées par le feedback dans l'utilisation d'outils par les grands modèles de langage via des environnements de construction automatisés

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

August 12, 2025

papers.authors: Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Xuanjing Huang, Jiecao Chen

cs.AI

papers.abstract

L'utilisation efficace d'outils est essentielle pour que les grands modèles de langage (LLMs) interagissent de manière significative avec leur environnement. Cependant, les progrès sont limités par le manque de cadres d'apprentissage par renforcement (RL) efficaces spécifiquement conçus pour l'utilisation d'outils, en raison des difficultés à construire des environnements d'entraînement stables et à concevoir des mécanismes de récompense vérifiables. Pour remédier à cela, nous proposons un pipeline automatisé de construction d'environnement, intégrant la décomposition de scénarios, la génération de documents, l'intégration de fonctions, la mise à l'échelle de la complexité et le déploiement localisé. Cela permet la création d'environnements d'entraînement de haute qualité qui fournissent un retour d'information détaillé et mesurable sans dépendre d'outils externes. De plus, nous introduisons un mécanisme de récompense vérifiable qui évalue à la fois la précision de l'utilisation des outils et l'exhaustivité de l'exécution des tâches. Combiné avec les données de trajectoire collectées à partir des environnements construits, ce mécanisme s'intègre parfaitement aux algorithmes RL standards pour faciliter l'entraînement des modèles basé sur le retour d'information. Les expériences sur des LLMs de différentes tailles démontrent que notre approche améliore significativement les performances d'utilisation des outils des modèles sans dégrader leurs capacités générales, quel que soit le mode d'inférence ou l'algorithme d'entraînement. Notre analyse suggère que ces gains résultent d'une meilleure compréhension contextuelle et d'un raisonnement amélioré, motivés par les mises à jour des paramètres MLP des couches inférieures des modèles.

English

Effective tool use is essential for large language models (LLMs) to interact meaningfully with their environment. However, progress is limited by the lack of efficient reinforcement learning (RL) frameworks specifically designed for tool use, due to challenges in constructing stable training environments and designing verifiable reward mechanisms. To address this, we propose an automated environment construction pipeline, incorporating scenario decomposition, document generation, function integration, complexity scaling, and localized deployment. This enables the creation of high-quality training environments that provide detailed and measurable feedback without relying on external tools. Additionally, we introduce a verifiable reward mechanism that evaluates both the precision of tool use and the completeness of task execution. When combined with trajectory data collected from the constructed environments, this mechanism integrates seamlessly with standard RL algorithms to facilitate feedback-driven model training. Experiments on LLMs of varying scales demonstrate that our approach significantly enhances the models' tool-use performance without degrading their general capabilities, regardless of inference modes or training algorithms. Our analysis suggests that these gains result from improved context understanding and reasoning, driven by updates to the lower-layer MLP parameters in models.