MMOU: Een Massieve Multi-Taak Omni-Begrip- en Redeneerbenchmark voor Lange en Complexe Real-World Video's
MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos
March 14, 2026
Auteurs: Arushi Goel, Sreyan Ghosh, Vatsal Agarwal, Nishit Anand, Kaousheik Jayakumar, Lasha Koroshinadze, Yao Xu, Katie Lyons, James Case, Karan Sapra, Kevin J. Shih, Siddharth Gururani, Abhinav Shrivastava, Ramani Duraiswami, Dinesh Manocha, Andrew Tao, Bryan Catanzaro, Mohammad Shoeybi, Wei Ping
cs.AI
Samenvatting
Multimodale Large Language Models (MLLM's) tonen sterke prestaties in visueel en auditief begrip wanneer ze geïsoleerd worden geëvalueerd. Hun vermogen om gezamenlijk te redeneren over omni-modale (visuele, auditieve en tekstuele) signalen in lange en complexe video's blijft echter grotendeels onontgonnen. Wij introduceren MMOU, een nieuwe benchmark die is ontworpen om multimodaal begrip en redeneren systematisch te evalueren onder deze uitdagende, real-world omstandigheden. MMOU bestaat uit 15.000 zorgvuldig samengestelde vragen, gekoppeld aan 9038 webverzamelde video's van uiteenlopende lengte, die diverse domeinen beslaan en rijke, nauw verbonden audiovisuele inhoud vertonen. De benchmark omvat 13 fundamentele vaardigheidscategorieën, die allemaal integratie van bewijs over modaliteiten en tijd heen vereisen. Alle vragen zijn handmatig geannoteerd over meerdere beurten door professionele annotators, wat een hoge kwaliteit en redeneertrouw garandeert. Wij evalueren 20+ state-of-the-art open-source en propriëtaire multimodale modellen op MMOU. De resultaten leggen aanzienlijke prestatiekloof bloot: het beste closed-source model behaalt slechts 64,2% nauwkeurigheid, terwijl het sterkste open-source model slechts 46,8% bereikt. Onze resultaten benadrukken de uitdagingen van langdurig omni-modale begrip, en onthullen dat huidige modellen er vaak niet in slagen zelfs fundamentele vaardigheden in lange video's toe te passen. Via gedetailleerde analyse identificeren wij verder systematische faalwijzen en bieden wij inzichten in waar en waarom huidige modellen falen.
English
Multimodal Large Language Models (MLLMs) have shown strong performance in visual and audio understanding when evaluated in isolation. However, their ability to jointly reason over omni-modal (visual, audio, and textual) signals in long and complex videos remains largely unexplored. We introduce MMOU, a new benchmark designed to systematically evaluate multimodal understanding and reasoning under these challenging, real-world conditions. MMOU consists of 15,000 carefully curated questions paired with 9038 web-collected videos of varying length, spanning diverse domains and exhibiting rich, tightly coupled audio-visual content. The benchmark covers 13 fundamental skill categories, all of which require integrating evidence across modalities and time. All questions are manually annotated across multiple turns by professional annotators, ensuring high quality and reasoning fidelity. We evaluate 20+ state-of-the-art open-source and proprietary multimodal models on MMOU. The results expose substantial performance gaps: the best closed-source model achieves only 64.2% accuracy, while the strongest open-source model reaches just 46.8%. Our results highlight the challenges of long-form omni-modal understanding, revealing that current models frequently fail to apply even fundamental skills in long videos. Through detailed analysis, we further identify systematic failure modes and provide insights into where and why current models break.