MMOU: Un Benchmark di Comprensione e Ragionamento Omnicomprensivo Massivo e Multi-Task per Video Lunghi e Complessi del Mondo Reale

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) hanno dimostrato prestazioni solide nella comprensione visiva e uditiva quando valutati isolatamente. Tuttavia, la loro capacità di ragionare congiuntamente su segnali omni-modali (visivi, uditivi e testuali) in video lunghi e complessi rimane in gran parte inesplorata. Introduciamo MMOU, un nuovo benchmark progettato per valutare sistematicamente la comprensione e il ragionamento multimodale in queste condizioni complesse e realistiche. MMOU è composto da 15.000 domande accuratamente selezionate, abbinate a 9038 video di varia lunghezza raccolti dal web, che abbracciano domini diversi ed esibiscono contenuti audiovisivi ricchi e strettamente correlati. Il benchmark copre 13 categorie di abilità fondamentali, tutte richiedenti l'integrazione di prove attraverso le modalità e il tempo. Tutte le domande sono annotate manualmente su più turni da annotatori professionisti, garantendo alta qualità e fedeltà del ragionamento. Abbiamo valutato oltre 20 modelli multimodali all'avanguardia, open-source e proprietari, su MMOU. I risultati rivelano divari prestazionali sostanziali: il miglior modello proprietario raggiunge solo il 64,2% di accuratezza, mentre il modello open-source più potente arriva appena al 46,8%. I nostri risultati evidenziano le sfide della comprensione omni-modale di lunga durata, rivelando che i modelli attuali spesso non riescono ad applicare anche abilità fondamentali in video lunghi. Attraverso un'analisi dettagliata, identifichiamo ulteriormente modalità di fallimento sistematiche e forniamo indicazioni su dove e perché i modelli attuali falliscono.

English

Multimodal Large Language Models (MLLMs) have shown strong performance in visual and audio understanding when evaluated in isolation. However, their ability to jointly reason over omni-modal (visual, audio, and textual) signals in long and complex videos remains largely unexplored. We introduce MMOU, a new benchmark designed to systematically evaluate multimodal understanding and reasoning under these challenging, real-world conditions. MMOU consists of 15,000 carefully curated questions paired with 9038 web-collected videos of varying length, spanning diverse domains and exhibiting rich, tightly coupled audio-visual content. The benchmark covers 13 fundamental skill categories, all of which require integrating evidence across modalities and time. All questions are manually annotated across multiple turns by professional annotators, ensuring high quality and reasoning fidelity. We evaluate 20+ state-of-the-art open-source and proprietary multimodal models on MMOU. The results expose substantial performance gaps: the best closed-source model achieves only 64.2% accuracy, while the strongest open-source model reaches just 46.8%. Our results highlight the challenges of long-form omni-modal understanding, revealing that current models frequently fail to apply even fundamental skills in long videos. Through detailed analysis, we further identify systematic failure modes and provide insights into where and why current models break.

MMOU: Un Benchmark di Comprensione e Ragionamento Omnicomprensivo Massivo e Multi-Task per Video Lunghi e Complessi del Mondo Reale

MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

Abstract

Support