Многоагентная оптимизация политик с интегрированными инструментами

Аннотация

Крупные языковые модели (LLM) всё чаще полагаются на многошаговое планирование с интеграцией инструментов для выполнения задач, требующих интенсивного использования знаний и сложных рассуждений. Существующие реализации обычно основываются на одном агенте, однако они сталкиваются с ограниченной длиной контекста и зашумлёнными ответами инструментов. Естественным решением является использование многоагентной структуры с агентами-планировщиками и агентами-исполнителями для управления контекстом. Однако существующие методы не поддерживают эффективное обучение с подкреплением после тренировки для многоагентных структур с интеграцией инструментов. Чтобы устранить этот пробел, мы предлагаем метод Multi-Agent Tool-Integrated Policy Optimization (MATPO), который позволяет обучать различные роли (планировщик и исполнитель) в рамках одного экземпляра LLM с использованием ролевых подсказок посредством обучения с подкреплением. MATPO основан на принципиальном механизме распределения заслуг между эпизодами планировщика и исполнителя. Такой подход устраняет необходимость развёртывания нескольких LLM, что было бы ресурсоёмким, сохраняя при этом преимущества специализации. Эксперименты на наборах данных GAIA-text, WebWalkerQA и FRAMES показывают, что MATPO стабильно превосходит одноагентные базовые методы, демонстрируя среднее относительное улучшение производительности на 18,38%, а также проявляет большую устойчивость к зашумлённым выходам инструментов. Наши результаты подчеркивают эффективность объединения нескольких агентных ролей в рамках одной LLM и предоставляют практические рекомендации для стабильного и эффективного обучения с подкреплением в многоагентных системах.

English

Large language models (LLMs) increasingly rely on multi-turn tool-integrated planning for knowledge-intensive and complex reasoning tasks. Existing implementations typically rely on a single agent, but they suffer from limited context length and noisy tool responses. A natural solution is to adopt a multi-agent framework with planner- and worker-agents to manage context. However, no existing methods support effective reinforcement learning post-training of tool-integrated multi-agent frameworks. To address this gap, we propose Multi-Agent Tool-Integrated Policy Optimization (MATPO), which enables distinct roles (planner and worker) to be trained within a single LLM instance using role-specific prompts via reinforcement learning. MATPO is derived from a principled credit assignment mechanism across planner and worker rollouts. This design eliminates the need to deploy multiple LLMs, which would be memory-intensive, while preserving the benefits of specialization. Experiments on GAIA-text, WebWalkerQA, and FRAMES show that MATPO consistently outperforms single-agent baselines by an average of 18.38% relative improvement in performance and exhibits greater robustness to noisy tool outputs. Our findings highlight the effectiveness of unifying multiple agent roles within a single LLM and provide practical insights for stable and efficient multi-agent RL training.