Видео-MME: Первый всесторонний бенчмарк оценки мультимодальных языковых моделей в анализе видео.

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

May 31, 2024

Авторы: Chaoyou Fu, Yuhan Dai, Yondong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Rongrong Ji, Xing Sun

cs.AI

Аннотация

В поисках искусственного общего интеллекта Многомодельные Большие Языковые Модели (MLLMs) выделяются как центральная точка в последних достижениях. Однако основное внимание по-прежнему уделяется развитию их способностей в понимании статических изображений. Потенциал MLLMs в обработке последовательных визуальных данных до сих пор недостаточно исследован, что подчеркивает отсутствие всесторонней, высококачественной оценки их производительности. В данной статье мы представляем Video-MME, первый в своем роде полноценный, Многомодальный Бенчмарк Оценки MLLMs в анализе видео. Наша работа отличается от существующих бенчмарков четырьмя ключевыми особенностями: 1) Разнообразие видео типов, охватывающее 6 основных визуальных областей с 30 подобластями для обеспечения широкой сценарной обобщаемости; 2) Продолжительность во временном измерении, охватывающая как короткие, средние, так и долгосрочные видео, варьирующиеся от 11 секунд до 1 часа, для надежной контекстной динамики; 3) Ширина в модальностях данных, интегрирующая многомодальные входы помимо видеокадров, включая субтитры и аудио, для раскрытия всесторонних способностей MLLMs; 4) Качество в аннотациях, использующее строгую ручную разметку опытными аннотаторами для облегчения точной и надежной оценки модели. 900 видео с общим временем 256 часов были вручную отобраны и аннотированы путем многократного просмотра всего видеоконтента, что привело к 2,700 вопросо-ответным парам. С помощью Video-MME мы обширно оцениваем различные передовые MLLMs, включая серию GPT-4 и Gemini 1.5 Pro, а также открытые модели изображений, такие как InternVL-Chat-V1.5, и видео-модели, такие как LLaVA-NeXT-Video. Наши эксперименты показывают, что Gemini 1.5 Pro является лучшей коммерческой моделью, значительно превосходящей открытые модели. Наш набор данных вместе с этими результатами подчеркивает необходимость дальнейших улучшений в обработке более длинных последовательностей и многомодальных данных. Страница проекта: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io