Optimisation des Politiques Intégrées par des Outils Multi-Agents

papers.abstract

Les grands modèles de langage (LLMs) reposent de plus en plus sur une planification intégrée d'outils en plusieurs tours pour des tâches de raisonnement complexes et nécessitant des connaissances approfondies. Les implémentations existantes s'appuient généralement sur un seul agent, mais elles souffrent d'une longueur de contexte limitée et de réponses bruitées des outils. Une solution naturelle consiste à adopter un cadre multi-agents avec des agents planificateurs et exécutants pour gérer le contexte. Cependant, aucune méthode existante ne prend en charge un apprentissage par renforcement post-formation efficace pour les cadres multi-agents intégrant des outils. Pour combler cette lacune, nous proposons l'Optimisation de Politique Multi-Agents Intégrant des Outils (MATPO), qui permet à des rôles distincts (planificateur et exécutant) d'être entraînés au sein d'une seule instance de LLM en utilisant des invites spécifiques à chaque rôle via l'apprentissage par renforcement. MATPO est dérivé d'un mécanisme d'attribution de crédit fondé sur les déploiements des planificateurs et des exécutants. Cette conception élimine le besoin de déployer plusieurs LLMs, ce qui serait gourmand en mémoire, tout en préservant les avantages de la spécialisation. Les expériences sur GAIA-text, WebWalkerQA et FRAMES montrent que MATPO surpasse systématiquement les approches mono-agent avec une amélioration relative moyenne de 18,38 % en termes de performance et une plus grande robustesse face aux sorties bruitées des outils. Nos résultats mettent en évidence l'efficacité de l'unification de multiples rôles d'agents au sein d'un seul LLM et fournissent des insights pratiques pour un entraînement stable et efficace en apprentissage par renforcement multi-agents.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.