Ottimizzazione delle Politiche Integrate con Strumenti Multi-Agente

Abstract

I modelli linguistici di grandi dimensioni (LLM) fanno sempre più affidamento su pianificazioni multi-turn integrate con strumenti per compiti di ragionamento complessi e ad alta intensità di conoscenza. Le implementazioni esistenti si basano tipicamente su un singolo agente, ma soffrono di una lunghezza limitata del contesto e di risposte rumorose dagli strumenti. Una soluzione naturale è adottare un framework multi-agente con agenti pianificatori e lavoratori per gestire il contesto. Tuttavia, nessun metodo esistente supporta un efficace apprendimento per rinforzo post-addestramento di framework multi-agente integrati con strumenti. Per colmare questa lacuna, proponiamo l'Optimizzazione delle Politiche Integrate con Strumenti Multi-Agente (MATPO), che consente a ruoli distinti (pianificatore e lavoratore) di essere addestrati all'interno di una singola istanza LLM utilizzando prompt specifici per ruolo tramite apprendimento per rinforzo. MATPO deriva da un meccanismo di assegnazione del credito basato su principi attraverso i rollout del pianificatore e del lavoratore. Questo design elimina la necessità di distribuire più LLM, che sarebbe dispendioso in termini di memoria, preservando i vantaggi della specializzazione. Esperimenti su GAIA-text, WebWalkerQA e FRAMES dimostrano che MATPO supera costantemente i baseline a singolo agente con un miglioramento relativo medio del 18,38% nelle prestazioni e mostra una maggiore robustezza alle uscite rumorose degli strumenti. I nostri risultati evidenziano l'efficacia dell'unificazione di più ruoli di agenti all'interno di un singolo LLM e forniscono intuizioni pratiche per un addestramento stabile ed efficiente dell'apprendimento per rinforzo multi-agente.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.