Multi-Agent Tool-Integrierte Politikoptimierung

papers.abstract

Große Sprachmodelle (LLMs) setzen zunehmend auf mehrstufige, werkzeugintegrierte Planung für wissensintensive und komplexe Denkaufgaben. Bestehende Implementierungen basieren typischerweise auf einem einzelnen Agenten, leiden jedoch unter begrenzter Kontextlänge und verrauschten Werkzeugantworten. Eine natürliche Lösung besteht darin, ein Multi-Agenten-Framework mit Planer- und Arbeits-Agenten zur Kontextverwaltung zu verwenden. Allerdings unterstützen keine bestehenden Methoden ein effektives Reinforcement Learning nach dem Training von werkzeugintegrierten Multi-Agenten-Frameworks. Um diese Lücke zu schließen, schlagen wir Multi-Agent Tool-Integrated Policy Optimization (MATPO) vor, das es ermöglicht, unterschiedliche Rollen (Planer und Arbeiter) innerhalb einer einzigen LLM-Instanz durch rollenspezifische Prompts mittels Reinforcement Learning zu trainieren. MATPO basiert auf einem prinzipiellen Kreditzuweisungsmechanismus über Planer- und Arbeits-Agenten-Rollouts. Dieser Entwurf eliminiert die Notwendigkeit, mehrere LLMs einzusetzen, was speicherintensiv wäre, und bewahrt gleichzeitig die Vorteile der Spezialisierung. Experimente auf GAIA-text, WebWalkerQA und FRAMES zeigen, dass MATPO durchschnittlich eine relative Leistungssteigerung von 18,38 % gegenüber Single-Agent-Baselines erzielt und eine größere Robustheit gegenüber verrauschten Werkzeugausgaben aufweist. Unsere Ergebnisse unterstreichen die Effektivität der Vereinigung mehrerer Agentenrollen innerhalb eines einzelnen LLMs und bieten praktische Einblicke für stabiles und effizientes Multi-Agenten-RL-Training.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.