Multi-Agent Tool-Geïntegreerde Beleidsoptimalisatie

Samenvatting

Grote taalmodellen (LLM's) vertrouwen steeds meer op meerfasige, tool-geïntegreerde planning voor kennisintensieve en complexe redeneertaken. Bestaande implementaties maken doorgaans gebruik van een enkele agent, maar deze hebben te kampen met beperkte contextlengte en ruis in toolresponsen. Een natuurlijke oplossing is het toepassen van een multi-agent framework met planner- en worker-agents om de context te beheren. Echter, bestaande methoden ondersteunen geen effectieve reinforcement learning na de training van tool-geïntegreerde multi-agent frameworks. Om dit gat te dichten, stellen we Multi-Agent Tool-Integrated Policy Optimization (MATPO) voor, waarmee verschillende rollen (planner en worker) binnen een enkel LLM-exemplaar kunnen worden getraind met behulp van rol-specifieke prompts via reinforcement learning. MATPO is afgeleid van een principieel krediettoewijzingsmechanisme over planner- en worker-rollouts. Dit ontwerp elimineert de noodzaak om meerdere LLM's te implementeren, wat geheugenintensief zou zijn, terwijl de voordelen van specialisatie behouden blijven. Experimenten op GAIA-text, WebWalkerQA en FRAMES tonen aan dat MATPO consistent beter presteert dan single-agent baselines met een gemiddelde relatieve verbetering van 18,38% in prestaties en grotere robuustheid vertoont tegen ruis in tooloutputs. Onze bevindingen benadrukken de effectiviteit van het verenigen van meerdere agentrollen binnen een enkel LLM en bieden praktische inzichten voor stabiele en efficiënte multi-agent RL-training.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.