MMVU: Medición del Entendimiento de Videos a Nivel de Experto en Múltiples Disciplinas

MMVU: Measuring Expert-Level Multi-Discipline Video Understanding

January 21, 2025

Autores: Yilun Zhao, Lujing Xie, Haowei Zhang, Guo Gan, Yitao Long, Zhiyuan Hu, Tongyan Hu, Weiyuan Chen, Chuhan Li, Junyang Song, Zhijian Xu, Chengye Wang, Weifeng Pan, Ziyao Shangguan, Xiangru Tang, Zhenwen Liang, Yixin Liu, Chen Zhao, Arman Cohan

cs.AI

Resumen

Presentamos MMVU, un completo banco de pruebas de nivel experto y multidisciplinario para evaluar modelos fundamentales en comprensión de video. MMVU incluye 3,000 preguntas anotadas por expertos que abarcan 27 materias en cuatro disciplinas principales: Ciencia, Salud, Humanidades y Ciencias Sociales, e Ingeniería. En comparación con bancos de pruebas anteriores, MMVU presenta tres avances clave. En primer lugar, desafía a los modelos a aplicar conocimientos específicos del dominio y realizar razonamientos de nivel experto para analizar videos de dominios especializados, yendo más allá de la percepción visual básica evaluada típicamente en los bancos de pruebas de video actuales. En segundo lugar, cada ejemplo es anotado desde cero por expertos humanos. Implementamos estrictos controles de calidad de datos para garantizar la alta calidad del conjunto de datos. Finalmente, cada ejemplo se enriquece con razonamientos anotados por expertos y conocimientos relevantes del dominio, facilitando el análisis en profundidad. Realizamos una extensa evaluación de 32 modelos fundamentales multimodales de vanguardia en MMVU. Los últimos modelos capaces de Sistema-2, o1 y Gemini 2.0 Flash Thinking, logran el mejor rendimiento entre los modelos probados. Sin embargo, aún no alcanzan el nivel de expertise humano. A través de análisis de errores en profundidad y estudios de casos, ofrecemos ideas prácticas para futuros avances en comprensión de video de nivel experto y con alto contenido de conocimiento para dominios especializados.

English

We introduce MMVU, a comprehensive expert-level, multi-discipline benchmark for evaluating foundation models in video understanding. MMVU includes 3,000 expert-annotated questions spanning 27 subjects across four core disciplines: Science, Healthcare, Humanities & Social Sciences, and Engineering. Compared to prior benchmarks, MMVU features three key advancements. First, it challenges models to apply domain-specific knowledge and perform expert-level reasoning to analyze specialized-domain videos, moving beyond the basic visual perception typically assessed in current video benchmarks. Second, each example is annotated by human experts from scratch. We implement strict data quality controls to ensure the high quality of the dataset. Finally, each example is enriched with expert-annotated reasoning rationals and relevant domain knowledge, facilitating in-depth analysis. We conduct an extensive evaluation of 32 frontier multimodal foundation models on MMVU. The latest System-2-capable models, o1 and Gemini 2.0 Flash Thinking, achieve the highest performance among the tested models. However, they still fall short of matching human expertise. Through in-depth error analyses and case studies, we offer actionable insights for future advancements in expert-level, knowledge-intensive video understanding for specialized domains.