Feedback-gesteuerte Verbesserungen der Werkzeugnutzung in großen Sprachmodellen durch automatisierte Build-Umgebungen

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

August 12, 2025

papers.authors: Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Xuanjing Huang, Jiecao Chen

cs.AI

papers.abstract

Effektive Werkzeugnutzung ist entscheidend dafür, dass große Sprachmodelle (LLMs) sinnvoll mit ihrer Umgebung interagieren können. Der Fortschritt wird jedoch durch den Mangel an effizienten Reinforcement-Learning (RL)-Frameworks, die speziell für die Werkzeugnutzung entwickelt wurden, eingeschränkt. Dies liegt an den Herausforderungen bei der Konstruktion stabiler Trainingsumgebungen und der Gestaltung überprüfbarer Belohnungsmechanismen. Um dies zu adressieren, schlagen wir eine automatisierte Pipeline zur Umgebungskonstruktion vor, die Szenariozerlegung, Dokumentgenerierung, Funktionsintegration, Komplexitätsskalierung und lokalisierte Bereitstellung umfasst. Dies ermöglicht die Erstellung hochwertiger Trainingsumgebungen, die detaillierte und messbare Rückmeldungen liefern, ohne auf externe Werkzeuge angewiesen zu sein. Zusätzlich führen wir einen überprüfbaren Belohnungsmechanismus ein, der sowohl die Präzision der Werkzeugnutzung als auch die Vollständigkeit der Aufgabenausführung bewertet. In Kombination mit Trajektoriendaten, die aus den konstruierten Umgebungen gesammelt werden, integriert sich dieser Mechanismus nahtlos in standardmäßige RL-Algorithmen, um feedbackgesteuertes Modelltraining zu ermöglichen. Experimente mit LLMs unterschiedlicher Größenordnungen zeigen, dass unser Ansatz die Werkzeugnutzungsleistung der Modelle signifikant verbessert, ohne deren allgemeine Fähigkeiten zu beeinträchtigen, unabhängig von Inferenzmodi oder Trainingsalgorithmen. Unsere Analyse legt nahe, dass diese Verbesserungen auf ein besseres Verständnis des Kontexts und eine verbesserte Schlussfolgerungsfähigkeit zurückzuführen sind, die durch Aktualisierungen der MLP-Parameter in den unteren Schichten der Modelle angetrieben werden.

English

Effective tool use is essential for large language models (LLMs) to interact meaningfully with their environment. However, progress is limited by the lack of efficient reinforcement learning (RL) frameworks specifically designed for tool use, due to challenges in constructing stable training environments and designing verifiable reward mechanisms. To address this, we propose an automated environment construction pipeline, incorporating scenario decomposition, document generation, function integration, complexity scaling, and localized deployment. This enables the creation of high-quality training environments that provide detailed and measurable feedback without relying on external tools. Additionally, we introduce a verifiable reward mechanism that evaluates both the precision of tool use and the completeness of task execution. When combined with trajectory data collected from the constructed environments, this mechanism integrates seamlessly with standard RL algorithms to facilitate feedback-driven model training. Experiments on LLMs of varying scales demonstrate that our approach significantly enhances the models' tool-use performance without degrading their general capabilities, regardless of inference modes or training algorithms. Our analysis suggests that these gains result from improved context understanding and reasoning, driven by updates to the lower-layer MLP parameters in models.