MMOU: Масштабный многозадачный бенчмарк для всестороннего понимания и анализа длинных и сложных видеоматериалов из реального мира

Аннотация

Мультимодальные большие языковые модели (MБЯМ) демонстрируют высокую производительность в области визуального и аудиопонимания при изолированной оценке. Однако их способность к совместному анализу омни-модальных (визуальных, аудиальных и текстовых) сигналов в длинных и сложных видео остаётся в значительной степени неисследованной. Мы представляем MMOU — новый эталонный тест, разработанный для систематической оценки мультимодального понимания и логического вывода в этих сложных, приближенных к реальным условиям. MMOU состоит из 15 000 тщательно отобранных вопросов в паре с 9038 веб-видео различной длины, охватывающих разнообразные домены и демонстрирующих богатое, тесно связанное аудиовизуальное содержание. Бенчмарк охватывает 13 фундаментальных категорий навыков, все из которых требуют интеграции доказательств across модальностей и времени. Все вопросы вручную размечены по нескольким параметрам профессиональными аннотаторами, что гарантирует высокое качество и достоверность логических цепочек. Мы оценили более 20 передовых открытых и проприетарных мультимодальных моделей на MMOU. Результаты выявили существенные пробелы в производительности: лучшая проприетарная модель достигает точности лишь 64,2%, в то время как сильнейшая открытая модель — всего 46,8%. Наши результаты подчеркивают сложности понимания длинных омни-модальных последовательностей, показывая, что современные модели часто не справляются с применением даже базовых навыков в длинных видео. Благодаря детальному анализу мы также выявляем систематические типы ошибок и даём представление о том, где и почему текущие модели дают сбой.

English

Multimodal Large Language Models (MLLMs) have shown strong performance in visual and audio understanding when evaluated in isolation. However, their ability to jointly reason over omni-modal (visual, audio, and textual) signals in long and complex videos remains largely unexplored. We introduce MMOU, a new benchmark designed to systematically evaluate multimodal understanding and reasoning under these challenging, real-world conditions. MMOU consists of 15,000 carefully curated questions paired with 9038 web-collected videos of varying length, spanning diverse domains and exhibiting rich, tightly coupled audio-visual content. The benchmark covers 13 fundamental skill categories, all of which require integrating evidence across modalities and time. All questions are manually annotated across multiple turns by professional annotators, ensuring high quality and reasoning fidelity. We evaluate 20+ state-of-the-art open-source and proprietary multimodal models on MMOU. The results expose substantial performance gaps: the best closed-source model achieves only 64.2% accuracy, while the strongest open-source model reaches just 46.8%. Our results highlight the challenges of long-form omni-modal understanding, revealing that current models frequently fail to apply even fundamental skills in long videos. Through detailed analysis, we further identify systematic failure modes and provide insights into where and why current models break.

MMOU: Масштабный многозадачный бенчмарк для всестороннего понимания и анализа длинных и сложных видеоматериалов из реального мира

MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos

Аннотация

Support