MMOU: Um Benchmark Massivo de Compreensão e Raciocínio Omni para Tarefas Múltiplas em Vídeos Longos e Complexos do Mundo Real
MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos
March 14, 2026
Autores: Arushi Goel, Sreyan Ghosh, Vatsal Agarwal, Nishit Anand, Kaousheik Jayakumar, Lasha Koroshinadze, Yao Xu, Katie Lyons, James Case, Karan Sapra, Kevin J. Shih, Siddharth Gururani, Abhinav Shrivastava, Ramani Duraiswami, Dinesh Manocha, Andrew Tao, Bryan Catanzaro, Mohammad Shoeybi, Wei Ping
cs.AI
Resumo
Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm demonstrado forte desempenho na compreensão visual e auditiva quando avaliados isoladamente. No entanto, a sua capacidade de raciocinar conjuntamente sobre sinais omni-modais (visuais, auditivos e textuais) em vídeos longos e complexos permanece largamente inexplorada. Apresentamos o MMOU, um novo benchmark concebido para avaliar sistematicamente a compreensão e o raciocínio multimodal nestas condições desafiadoras do mundo real. O MMOU consiste em 15.000 questões cuidadosamente selecionadas, emparelhadas com 9038 vídeos recolhidos da web com durações variadas, abrangendo domínios diversos e exibindo conteúdos audiovisuais ricos e fortemente acoplados. O benchmark abrange 13 categorias de competências fundamentais, todas exigindo a integração de evidências entre modalidades e ao longo do tempo. Todas as questões são anotadas manualmente em múltiplas iterações por anotadores profissionais, garantindo alta qualidade e fidelidade de raciocínio. Avaliamos mais de 20 modelos multimodais de última geração, de código aberto e proprietários, no MMOU. Os resultados expõem lacunas substanciais de desempenho: o melhor modelo proprietário atinge apenas 64,2% de precisão, enquanto o modelo de código aberto mais forte alcança apenas 46,8%. Os nossos resultados destacam os desafios da compreensão omni-modal de longa duração, revelando que os modelos atuais falham frequentemente em aplicar mesmo competências fundamentais em vídeos longos. Através de uma análise detalhada, identificamos ainda modos de falha sistemáticos e fornecemos perspetivas sobre onde e por que razão os modelos atuais falham.
English
Multimodal Large Language Models (MLLMs) have shown strong performance in visual and audio understanding when evaluated in isolation. However, their ability to jointly reason over omni-modal (visual, audio, and textual) signals in long and complex videos remains largely unexplored. We introduce MMOU, a new benchmark designed to systematically evaluate multimodal understanding and reasoning under these challenging, real-world conditions. MMOU consists of 15,000 carefully curated questions paired with 9038 web-collected videos of varying length, spanning diverse domains and exhibiting rich, tightly coupled audio-visual content. The benchmark covers 13 fundamental skill categories, all of which require integrating evidence across modalities and time. All questions are manually annotated across multiple turns by professional annotators, ensuring high quality and reasoning fidelity. We evaluate 20+ state-of-the-art open-source and proprietary multimodal models on MMOU. The results expose substantial performance gaps: the best closed-source model achieves only 64.2% accuracy, while the strongest open-source model reaches just 46.8%. Our results highlight the challenges of long-form omni-modal understanding, revealing that current models frequently fail to apply even fundamental skills in long videos. Through detailed analysis, we further identify systematic failure modes and provide insights into where and why current models break.