Otimização de Políticas Integradas com Ferramentas Multiagente

Resumo

Modelos de linguagem de grande escala (LLMs) estão cada vez mais dependendo de planejamento integrado a ferramentas em múltiplos turnos para tarefas de raciocínio complexas e intensivas em conhecimento. As implementações existentes geralmente dependem de um único agente, mas sofrem com limitações no comprimento do contexto e respostas ruidosas das ferramentas. Uma solução natural é adotar uma estrutura multiagente com agentes planejadores e executores para gerenciar o contexto. No entanto, não existem métodos atuais que suportem o treinamento eficaz por reforço pós-treinamento de estruturas multiagentes integradas a ferramentas. Para preencher essa lacuna, propomos a Otimização de Política Integrada a Ferramentas Multiagente (MATPO), que permite que papéis distintos (planejador e executor) sejam treinados dentro de uma única instância de LLM usando prompts específicos para cada papel por meio de aprendizado por reforço. O MATPO é derivado de um mecanismo de atribuição de crédito fundamentado entre as execuções do planejador e do executor. Esse design elimina a necessidade de implantar múltiplos LLMs, o que seria intensivo em memória, enquanto preserva os benefícios da especialização. Experimentos no GAIA-text, WebWalkerQA e FRAMES mostram que o MATPO supera consistentemente as abordagens de agente único com uma melhoria relativa média de 18,38% no desempenho e exibe maior robustez a saídas ruidosas de ferramentas. Nossos resultados destacam a eficácia de unificar múltiplos papéis de agentes dentro de um único LLM e fornecem insights práticos para treinamento estável e eficiente de RL multiagente.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.