MMOU: 長尺で複雑な実世界動画向け大規模マルチタスク全理解・推論ベンチマーク

MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

March 14, 2026

著者: Arushi Goel, Sreyan Ghosh, Vatsal Agarwal, Nishit Anand, Kaousheik Jayakumar, Lasha Koroshinadze, Yao Xu, Katie Lyons, James Case, Karan Sapra, Kevin J. Shih, Siddharth Gururani, Abhinav Shrivastava, Ramani Duraiswami, Dinesh Manocha, Andrew Tao, Bryan Catanzaro, Mohammad Shoeybi, Wei Ping

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLM）は、個別に評価した場合、視覚および聴覚の理解において強力な性能を示している。しかし、長く複雑な動画内におけるオムニモーダル（視覚、聴覚、テキスト）信号の統合的な推論能力は、ほとんど検証されていない。本研究では、このような現実的な困難な条件下でのマルチモーダル理解と推論を体系的に評価するための新しいベンチマーク「MMOU」を提案する。MMOUは、15,000問の厳選された質問と、様々な長さのウェブ収集動画9,038本から構成され、多様な領域をカバーし、豊かで密接に結合した視聴覚コンテンツを特徴とする。このベンチマークは13の基礎的スキルカテゴリを網羅し、いずれもモダリティと時間を跨いだ証拠の統合を必要とする。全ての質問は専門のアノテーターによる複数回にわたる手動注釈が施され、高品質かつ推論の正確性が保証されている。我々は20以上の最先端オープンソース及びプロプライエタリのマルチモーダルモデルをMMOUで評価した。結果は大きな性能差を明らかにする：最高のクローズドソースモデルで64.2%、最強のオープンソースモデルに至っては46.8%の精度しか達成できなかった。本結果は、長尺動画におけるオムニモーダル理解の課題を浮き彫りにし、現行のモデルが長い動画では基礎的スキルすら適応できない頻度が高いことを示す。詳細な分析を通じて、我々はさらに体系的な失敗モードを特定し、現行モデルがどこで、なぜ破綻するのかに関する知見を提供する。

English

Multimodal Large Language Models (MLLMs) have shown strong performance in visual and audio understanding when evaluated in isolation. However, their ability to jointly reason over omni-modal (visual, audio, and textual) signals in long and complex videos remains largely unexplored. We introduce MMOU, a new benchmark designed to systematically evaluate multimodal understanding and reasoning under these challenging, real-world conditions. MMOU consists of 15,000 carefully curated questions paired with 9038 web-collected videos of varying length, spanning diverse domains and exhibiting rich, tightly coupled audio-visual content. The benchmark covers 13 fundamental skill categories, all of which require integrating evidence across modalities and time. All questions are manually annotated across multiple turns by professional annotators, ensuring high quality and reasoning fidelity. We evaluate 20+ state-of-the-art open-source and proprietary multimodal models on MMOU. The results expose substantial performance gaps: the best closed-source model achieves only 64.2% accuracy, while the strongest open-source model reaches just 46.8%. Our results highlight the challenges of long-form omni-modal understanding, revealing that current models frequently fail to apply even fundamental skills in long videos. Through detailed analysis, we further identify systematic failure modes and provide insights into where and why current models break.