Orchestra-o1: 全モーダルエージェントオーケストレーション

要旨

近年のエージェントスウォームの成功により、大規模言語モデル（LLM）に基づくエージェントのパラダイムが単一エージェントワークフローからマルチエージェントシステムへと移行し、タスク分解と協調のためのエージェントオーケストレーションの重要性が浮き彫りになっている。しかし、既存のオーケストレーションフレームワークは限られたモダリティにしか対応しておらず、異種モダリティが共存・相互作用するより複雑な設定への汎化が困難である。この制限は、テキスト、画像、音声、動画など多様な入力の統合的把握と調整が求められるオムニモーダルシナリオにおいて特に顕著となる。本研究では、複数モダリティにわたる効率的なエージェント連携を実現するオムニモーダルエージェントオーケストレーションフレームワーク「Orchestra-o1」を提案する。Orchestra-o1は、モダリティ認識型タスク分解、オンラインサブエージェント特化、並列サブタスク実行を可能にする統合オーケストレーション機構を導入する。このスケーラブルな設計により、エージェントシステムは異種情報源を含む複雑な実世界タスクに効果的に対処でき、OmniGAIAベンチマークにおいて2位のアプローチを精度で10.3%上回る。さらに、Orchestra-o1-8Bを訓練するための効率的なエージェント強化学習手法として、決定整合的グループ相対方策最適化（DA-GRPO）を導入し、既存のすべてのオープンソースオムニモーダルエージェントに対して最先端の性能を達成している。

English

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.