Melhorias no Uso de Ferramentas Orientadas por Feedback em Modelos de Linguagem de Grande Escala por meio de Ambientes de Construção Automatizados

Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments

August 12, 2025

Autores: Junjie Ye, Changhao Jiang, Zhengyin Du, Yufei Xu, Xuesong Yao, Zhiheng Xi, Xiaoran Fan, Qi Zhang, Xuanjing Huang, Jiecao Chen

cs.AI

Resumo

O uso eficaz de ferramentas é essencial para que os modelos de linguagem de grande escala (LLMs) interajam de forma significativa com seu ambiente. No entanto, o progresso é limitado pela falta de frameworks eficientes de aprendizado por reforço (RL) projetados especificamente para o uso de ferramentas, devido aos desafios na construção de ambientes de treinamento estáveis e no design de mecanismos de recompensa verificáveis. Para abordar isso, propomos um pipeline automatizado de construção de ambientes, incorporando decomposição de cenários, geração de documentos, integração de funções, escalonamento de complexidade e implantação localizada. Isso permite a criação de ambientes de treinamento de alta qualidade que fornecem feedback detalhado e mensurável sem depender de ferramentas externas. Além disso, introduzimos um mecanismo de recompensa verificável que avalia tanto a precisão do uso de ferramentas quanto a completude da execução de tarefas. Quando combinado com dados de trajetória coletados dos ambientes construídos, esse mecanismo se integra perfeitamente com algoritmos padrão de RL para facilitar o treinamento de modelos orientado por feedback. Experimentos com LLMs de diferentes escalas demonstram que nossa abordagem melhora significativamente o desempenho dos modelos no uso de ferramentas sem degradar suas capacidades gerais, independentemente dos modos de inferência ou algoritmos de treinamento. Nossa análise sugere que esses ganhos resultam de uma melhor compreensão e raciocínio contextual, impulsionados por atualizações nos parâmetros das camadas inferiores de MLP nos modelos.

English

Effective tool use is essential for large language models (LLMs) to interact meaningfully with their environment. However, progress is limited by the lack of efficient reinforcement learning (RL) frameworks specifically designed for tool use, due to challenges in constructing stable training environments and designing verifiable reward mechanisms. To address this, we propose an automated environment construction pipeline, incorporating scenario decomposition, document generation, function integration, complexity scaling, and localized deployment. This enables the creation of high-quality training environments that provide detailed and measurable feedback without relying on external tools. Additionally, we introduce a verifiable reward mechanism that evaluates both the precision of tool use and the completeness of task execution. When combined with trajectory data collected from the constructed environments, this mechanism integrates seamlessly with standard RL algorithms to facilitate feedback-driven model training. Experiments on LLMs of varying scales demonstrate that our approach significantly enhances the models' tool-use performance without degrading their general capabilities, regardless of inference modes or training algorithms. Our analysis suggests that these gains result from improved context understanding and reasoning, driven by updates to the lower-layer MLP parameters in models.