OmniGAIA: Op weg naar Inheemse Allesomvattende Modale Kunstmatige Intelligentie Agents
OmniGAIA: Towards Native Omni-Modal AI Agents
February 26, 2026
Auteurs: Xiaoxi Li, Wenxiang Jiao, Jiarui Jin, Shijian Wang, Guanting Dong, Jiajie Jin, Hao Wang, Yinuo Wang, Ji-Rong Wen, Yuan Lu, Zhicheng Dou
cs.AI
Samenvatting
Menselijke intelligentie combineert van nature omni-modale perceptie – die zich uitstrekt over visie, audio en taal – met complexe redeneervaardigheden en gereedschapsgebruik om met de wereld te interacteren. Huidige multi-modale LLM's zijn echter voornamelijk beperkt tot bi-modale interacties (bijvoorbeeld visie-taal) en missen de verenigde cognitieve capaciteiten die nodig zijn voor algemene AI-assistenten. Om deze kloof te overbruggen, introduceren we OmniGAIA, een uitgebreide benchmark ontworpen om omni-modale agents te evalueren op taken die diepgaand redeneren en multi-turn gereedschapsuitvoering vereisen over video-, audio- en beeldmodaliteiten. Opgebouwd via een nieuwe omni-modale gebeurtenisgrafiekbenadering, synthetiseert OmniGAIA complexe, multi-hop queries afgeleid van real-world data die cross-modale redenering en integratie van externe tools vereisen. Verder stellen we OmniAtlas voor, een native omni-modale foundation-agent binnen een paradigma van tool-geïntegreerd redeneren met actieve omni-modale perceptie. Getraind op trajecten gesynthetiseerd via een hindsight-gestuurde boomverkenningsstrategie en OmniDPO voor fijnmazige foutcorrectie, verbetert OmniAtlas effectief de tool-gebruikscapaciteiten van bestaande open-source modellen. Dit werk markeert een stap naar next-generation native omni-modale AI-assistenten voor real-world scenario's.
English
Human intelligence naturally intertwines omni-modal perception -- spanning vision, audio, and language -- with complex reasoning and tool usage to interact with the world. However, current multi-modal LLMs are primarily confined to bi-modal interactions (e.g., vision-language), lacking the unified cognitive capabilities required for general AI assistants. To bridge this gap, we introduce OmniGAIA, a comprehensive benchmark designed to evaluate omni-modal agents on tasks necessitating deep reasoning and multi-turn tool execution across video, audio, and image modalities. Constructed via a novel omni-modal event graph approach, OmniGAIA synthesizes complex, multi-hop queries derived from real-world data that require cross-modal reasoning and external tool integration. Furthermore, we propose OmniAtlas, a native omni-modal foundation agent under tool-integrated reasoning paradigm with active omni-modal perception. Trained on trajectories synthesized via a hindsight-guided tree exploration strategy and OmniDPO for fine-grained error correction, OmniAtlas effectively enhances the tool-use capabilities of existing open-source models. This work marks a step towards next-generation native omni-modal AI assistants for real-world scenarios.