Orchestra-o1: Omnimodale Agenten-Orchestrierung

Zusammenfassung

Der jüngste Erfolg von Agentenschwärmen hat das Paradigma auf großen Sprachmodellen (LLMs) basierender Agenten von Einzelagenten-Workflows hin zu Multi-Agenten-Systemen verschoben und unterstreicht damit die Bedeutung der Agentenorchestrierung für Aufgabenzerlegung und Zusammenarbeit. Allerdings beschränken sich bestehende Orchestrierungsrahmenwerke auf eine begrenzte Anzahl von Modalitäten und haben Schwierigkeiten, auf komplexere Umgebungen zu verallgemeinern, in denen heterogene Modalitäten koexistieren und interagieren. Diese Einschränkung wird besonders in omnimodalen Szenarien deutlich, bei denen Aufgaben das einheitliche Verständnis und die Koordination unterschiedlicher Eingaben wie Text, Bild, Audio und Video erfordern. In dieser Arbeit stellen wir Orchestra-o1 vor, ein omnimodales Agentenorchestrierungsframework, das eine effiziente Zusammenarbeit von Agenten über mehrere Modalitäten hinweg unterstützt. Orchestra-o1 führt einen einheitlichen Orchestrierungsmechanismus ein, der modalitätsbewusste Aufgabenzerlegung, Online-Spezialisierung von Unteragenten und parallele Ausführung von Unteraufgaben ermöglicht. Dieses skalierbare Design erlaubt es Agentensystemen, komplexe reale Aufgaben mit heterogenen Informationsquellen effektiv zu bewältigen und übertrifft den zweitbesten Ansatz um 10,3 % Genauigkeit auf dem OmniGAIA-Benchmark. Darüber hinaus führen wir die entscheidungsorientierte Gruppen-Relative-Policy-Optimierung (DA-GRPO) ein, einen effizienten agentischen Reinforcement-Learning-Ansatz zum Trainieren von Orchestra-o1-8B, der ebenfalls Spitzenleistungen im Vergleich zu allen bestehenden Open-Source-omnimodalen Agenten erzielt.

English

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.