Orchestra-o1 : Orchestration d'agents omnimodale

Résumé

Le récent succès des essaims d'agents a déplacé le paradigme des agents basés sur les grands modèles de langage (LLM) des workflows mono-agent vers les systèmes multi-agents, soulignant l'importance de l'orchestration des agents pour la décomposition et la collaboration des tâches. Cependant, les cadres d'orchestration existants se limitent à un ensemble restreint de modalités et peinent à se généraliser à des contextes plus complexes où des modalités hétérogènes coexistent et interagissent. Cette limitation devient particulièrement prononcée dans les scénarios omnimodaux, où les tâches nécessitent une compréhension et une coordination unifiées d'entrées diverses telles que le texte, l'image, l'audio et la vidéo. Dans ce travail, nous proposons Orchestra-o1, un cadre d'orchestration omnimodal d'agents conçu pour favoriser une collaboration efficace entre agents à travers plusieurs modalités. Orchestra-o1 introduit un mécanisme d'orchestration unifié permettant une décomposition de tâches tenant compte des modalités, une spécialisation en ligne des sous-agents, et une exécution parallèle des sous-tâches. Cette conception évolutive permet aux systèmes d'agents de traiter efficacement des tâches complexes du monde réel impliquant des sources d'information hétérogènes, surpassant la deuxième meilleure approche de 10,3 % en précision sur le benchmark OmniGAIA. De plus, nous introduisons l'optimisation de politique relative alignée sur les décisions (DA-GRPO), une approche d'apprentissage par renforcement agentique efficace pour entraîner Orchestra-o1-8B, qui atteint également des performances de pointe par rapport à tous les agents omnimodaux open source existants.

English

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.