Orchestra-o1: Orquestração Omnimodal de Agentes

Resumo

O recente sucesso dos enxames de agentes deslocou o paradigma dos agentes baseados em modelos de linguagem de grande escala (LLMs) de fluxos de trabalho de agente único para sistemas multiagentes, destacando a importância da orquestração de agentes para a decomposição e colaboração de tarefas. No entanto, as estruturas de orquestração existentes estão limitadas a um conjunto restrito de modalidades e têm dificuldade em generalizar para configurações mais complexas, onde modalidades heterogéneas coexistem e interagem. Esta limitação torna-se particularmente evidente em cenários omnimodais, nos quais as tarefas exigem a compreensão e coordenação unificadas de entradas diversas, como texto, imagem, áudio e vídeo. Neste trabalho, propomos o Orchestra-o1, uma estrutura de orquestração omnimodal projetada para suportar uma colaboração eficiente de agentes em múltiplas modalidades. O Orchestra-o1 introduz um mecanismo de orquestração unificado que permite a decomposição de tarefas com consciência modal, a especialização online de subagentes e a execução paralela de subtarefas. Este design escalável permite que os sistemas de agentes lidem eficazmente com tarefas complexas do mundo real envolvendo fontes de informação heterogéneas, superando a segunda melhor abordagem em 10,3% de precisão no benchmark OmniGAIA. Além disso, apresentamos a otimização de políticas relativas de grupo alinhada à decisão (DA-GRPO), uma abordagem eficiente de aprendizagem por reforço orientada a agentes para treinar o Orchestra-o1-8B, que também atinge o estado da arte em relação a todos os agentes omnimodais de código aberto existentes.

English

The recent success of agent swarms has shifted the paradigm of large language model (LLM)-based agents from single-agent workflows to multi-agent systems, highlighting the importance of agent orchestration for task decomposition and collaboration. However, existing orchestration frameworks are limited to a narrow set of modalities and struggle to generalize to more complex settings where heterogeneous modalities coexist and interact. This limitation becomes particularly pronounced in omnimodal scenarios, where tasks require the unified understanding and coordination of diverse inputs such as text, image, audio, and video. In this work, we propose Orchestra-o1, an omnimodal agent orchestration framework designed to support efficient agent collaboration across multiple modalities. Orchestra-o1 introduces a unified orchestration mechanism that enables modality-aware task decomposition, online sub-agent specialization, and parallel sub-task execution. This scalable design allows agent systems to effectively tackle complex real-world tasks involving heterogeneous information sources, surpassing the second-best approach by 10.3% accuracy on the OmniGAIA benchmark. Furthermore, we introduce decision-aligned group relative policy optimization (DA-GRPO), an efficient agentic reinforcement learning approach for training Orchestra-o1-8B, which also achieves state-of-the-art performance against all existing open-source omnimodal agents.