Video-MME: O Primeiro Benchmark Abrangente de Avaliação de LLMs Multimodais em Análise de Vídeo

Resumo

Na busca pela inteligência artificial geral, os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) emergiram como um ponto focal nos avanços recentes. No entanto, o foco predominante permanece no desenvolvimento de suas capacidades para a compreensão de imagens estáticas. O potencial dos MLLMs no processamento de dados visuais sequenciais ainda é insuficientemente explorado, destacando a ausência de uma avaliação abrangente e de alta qualidade de seu desempenho. Neste artigo, apresentamos o Video-MME, o primeiro benchmark de avaliação multimodal de espectro completo para MLLMs na análise de vídeos. Nosso trabalho se distingue dos benchmarks existentes por quatro características principais: 1) Diversidade nos tipos de vídeo, abrangendo 6 domínios visuais primários com 30 subáreas para garantir generalização em cenários amplos; 2) Duração na dimensão temporal, incluindo vídeos de curta, média e longa duração, variando de 11 segundos a 1 hora, para dinâmicas contextuais robustas; 3) Amplitude nas modalidades de dados, integrando entradas multimodais além dos frames de vídeo, incluindo legendas e áudios, para revelar as capacidades completas dos MLLMs; 4) Qualidade nas anotações, utilizando rotulagem manual rigorosa por anotadores especializados para facilitar uma avaliação precisa e confiável dos modelos. 900 vídeos com um total de 256 horas foram selecionados e anotados manualmente após a visualização repetida de todo o conteúdo, resultando em 2.700 pares de perguntas e respostas. Com o Video-MME, avaliamos extensivamente vários MLLMs state-of-the-art, incluindo a série GPT-4 e o Gemini 1.5 Pro, bem como modelos de imagem de código aberto como o InternVL-Chat-V1.5 e modelos de vídeo como o LLaVA-NeXT-Video. Nossos experimentos revelam que o Gemini 1.5 Pro é o modelo comercial com melhor desempenho, superando significativamente os modelos de código aberto. Nosso conjunto de dados, juntamente com essas descobertas, ressalta a necessidade de melhorias adicionais no tratamento de sequências mais longas e dados multimodais. Página do Projeto: https://video-mme.github.io

English

In the quest for artificial general intelligence, Multi-modal Large Language Models (MLLMs) have emerged as a focal point in recent advancements. However, the predominant focus remains on developing their capabilities in static image understanding. The potential of MLLMs in processing sequential visual data is still insufficiently explored, highlighting the absence of a comprehensive, high-quality assessment of their performance. In this paper, we introduce Video-MME, the first-ever full-spectrum, Multi-Modal Evaluation benchmark of MLLMs in Video analysis. Our work distinguishes from existing benchmarks through four key features: 1) Diversity in video types, spanning 6 primary visual domains with 30 subfields to ensure broad scenario generalizability; 2) Duration in temporal dimension, encompassing both short-, medium-, and long-term videos, ranging from 11 seconds to 1 hour, for robust contextual dynamics; 3) Breadth in data modalities, integrating multi-modal inputs besides video frames, including subtitles and audios, to unveil the all-round capabilities of MLLMs; 4) Quality in annotations, utilizing rigorous manual labeling by expert annotators to facilitate precise and reliable model assessment. 900 videos with a total of 256 hours are manually selected and annotated by repeatedly viewing all the video content, resulting in 2,700 question-answer pairs. With Video-MME, we extensively evaluate various state-of-the-art MLLMs, including GPT-4 series and Gemini 1.5 Pro, as well as open-source image models like InternVL-Chat-V1.5 and video models like LLaVA-NeXT-Video. Our experiments reveal that Gemini 1.5 Pro is the best-performing commercial model, significantly outperforming the open-source models. Our dataset along with these findings underscores the need for further improvements in handling longer sequences and multi-modal data. Project Page: https://video-mme.github.io

Video-MME: O Primeiro Benchmark Abrangente de Avaliação de LLMs Multimodais em Análise de Vídeo

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

Resumo

Support