Video-MME: El primer punto de referencia integral de evaluación de modelos de lenguaje multimodal (LLM) en análisis de video.

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

May 31, 2024

Autores: Chaoyou Fu, Yuhan Dai, Yondong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Rongrong Ji, Xing Sun

cs.AI

Resumen

En la búsqueda de la inteligencia artificial general, los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han surgido como un punto focal en los avances recientes. Sin embargo, el enfoque predominante sigue siendo el desarrollo de sus capacidades en la comprensión de imágenes estáticas. El potencial de los MLLMs en el procesamiento de datos visuales secuenciales aún no ha sido suficientemente explorado, lo que destaca la ausencia de una evaluación integral y de alta calidad de su rendimiento. En este artículo, presentamos Video-MME, el primer punto de referencia de evaluación multimodal de espectro completo para MLLMs en el análisis de video. Nuestro trabajo se distingue de los puntos de referencia existentes a través de cuatro características clave: 1) Diversidad en los tipos de video, abarcando 6 dominios visuales principales con 30 subcampos para garantizar una generalización amplia de escenarios; 2) Duración en la dimensión temporal, incluyendo videos a corto, mediano y largo plazo, que van desde 11 segundos hasta 1 hora, para una dinámica contextual robusta; 3) Amplitud en las modalidades de datos, integrando entradas multimodales además de los fotogramas de video, incluyendo subtítulos y audios, para revelar las capacidades integrales de los MLLMs; 4) Calidad en las anotaciones, utilizando un etiquetado manual riguroso por parte de anotadores expertos para facilitar una evaluación precisa y confiable del modelo. Se seleccionaron y anotaron manualmente 900 videos con un total de 256 horas, revisando repetidamente todo el contenido de video, lo que resultó en 2,700 pares de preguntas y respuestas. Con Video-MME, evaluamos extensamente varios MLLMs de última generación, incluyendo la serie GPT-4 y Gemini 1.5 Pro, así como modelos de imagen de código abierto como InternVL-Chat-V1.5 y modelos de video como LLaVA-NeXT-Video. Nuestros experimentos revelan que Gemini 1.5 Pro es el modelo comercial con mejor rendimiento, superando significativamente a los modelos de código abierto. Nuestro conjunto de datos junto con estos hallazgos subrayan la necesidad de mejoras adicionales en el manejo de secuencias más largas y datos multimodales. Página del proyecto: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io