Улучшение использования инструментов в больших языковых моделях на основе обратной связи через автоматизированные среды сборки

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

August 12, 2025

Авторы: Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Xuanjing Huang, Jiecao Chen

cs.AI

Аннотация

Эффективное использование инструментов является ключевым для крупных языковых моделей (LLMs), чтобы взаимодействовать с окружающей средой осмысленно. Однако прогресс ограничен отсутствием эффективных фреймворков обучения с подкреплением (RL), специально разработанных для использования инструментов, из-за сложностей в создании стабильных обучающих сред и проектировании проверяемых механизмов вознаграждения. Для решения этой проблемы мы предлагаем автоматизированный конвейер построения среды, включающий декомпозицию сценариев, генерацию документов, интеграцию функций, масштабирование сложности и локальное развертывание. Это позволяет создавать высококачественные обучающие среды, которые предоставляют детальную и измеримую обратную связь без использования внешних инструментов. Кроме того, мы вводим проверяемый механизм вознаграждения, который оценивает как точность использования инструментов, так и полноту выполнения задачи. В сочетании с данными траекторий, собранными из построенных сред, этот механизм легко интегрируется со стандартными алгоритмами RL для облегчения обучения моделей на основе обратной связи. Эксперименты на LLMs различного масштаба демонстрируют, что наш подход значительно улучшает производительность моделей в использовании инструментов без ухудшения их общих способностей, независимо от режимов вывода или алгоритмов обучения. Наш анализ показывает, что эти улучшения обусловлены лучшим пониманием контекста и рассуждениями, вызванными обновлениями параметров нижних слоев MLP в моделях.

English

Effective tool use is essential for large language models (LLMs) to interact meaningfully with their environment. However, progress is limited by the lack of efficient reinforcement learning (RL) frameworks specifically designed for tool use, due to challenges in constructing stable training environments and designing verifiable reward mechanisms. To address this, we propose an automated environment construction pipeline, incorporating scenario decomposition, document generation, function integration, complexity scaling, and localized deployment. This enables the creation of high-quality training environments that provide detailed and measurable feedback without relying on external tools. Additionally, we introduce a verifiable reward mechanism that evaluates both the precision of tool use and the completeness of task execution. When combined with trajectory data collected from the constructed environments, this mechanism integrates seamlessly with standard RL algorithms to facilitate feedback-driven model training. Experiments on LLMs of varying scales demonstrate that our approach significantly enhances the models' tool-use performance without degrading their general capabilities, regardless of inference modes or training algorithms. Our analysis suggests that these gains result from improved context understanding and reasoning, driven by updates to the lower-layer MLP parameters in models.