Orchestra-o1: Омнимодальная оркестрация агентов

Аннотация

Недавний успех роевых агентов изменил парадигму агентов на основе больших языковых моделей (LLM) от однопоточных рабочих процессов к многогагентным системам, подчеркивая важность оркестрации агентов для декомпозиции задач и сотрудничества. Однако существующие фреймворки оркестрации ограничены узким набором модальностей и с трудом обобщаются на более сложные сценарии, где сосуществуют и взаимодействуют разнородные модальности. Это ограничение становится особенно заметным в омнимодальных сценариях, где задачи требуют единого понимания и координации разнообразных входных данных, таких как текст, изображение, аудио и видео. В данной работе мы предлагаем Orchestra-o1 — омнимодальный фреймворк оркестрации агентов, предназначенный для поддержки эффективного сотрудничества агентов в рамках нескольких модальностей. Orchestra-o1 вводит унифицированный механизм оркестрации, обеспечивающий декомпозицию задач с учетом модальностей, онлайн-специализацию подагентов и параллельное выполнение подзадач. Такая масштабируемая архитектура позволяет агентным системам эффективно решать сложные реальные задачи, включающие разнородные источники информации, превосходя второй лучший подход на 10,3% точности в бенчмарке OmniGAIA. Кроме того, мы представляем групповую оптимизацию политики, согласованную с решениями (DA-GRPO) — эффективный метод агентного обучения с подкреплением для обучения Orchestra-o1-8B, который также достигает передовых результатов по сравнению со всеми существующими открытыми омнимодальными агентами.

English

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.