VideoAutoArena: Uma Arena Automatizada para Avaliar Modelos Multimodais Grandes na Análise de Vídeo por meio de Simulação de Usuário

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Autores: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Resumo

Os modelos multimodais de grande escala (LMMs) com capacidades avançadas de análise de vídeo têm recentemente recebido significativa atenção. No entanto, a maioria das avaliações depende de métodos tradicionais, como perguntas de múltipla escolha em benchmarks como VideoMME e LongVideoBench, que estão sujeitos a não ter a profundidade necessária para capturar as demandas complexas de usuários do mundo real. Para lidar com essa limitação - e devido ao custo proibitivo e ritmo lento da anotação humana para tarefas de vídeo - introduzimos o VideoAutoArena, um benchmark no estilo arena inspirado no framework LMSYS Chatbot Arena, projetado para avaliar automaticamente as habilidades de análise de vídeo dos LMMs. O VideoAutoArena utiliza simulação de usuário para gerar perguntas abertas e adaptativas que avaliam rigorosamente o desempenho do modelo na compreensão de vídeo. O benchmark apresenta um framework de avaliação automatizado e escalável, incorporando um Sistema de Classificação ELO modificado para comparações justas e contínuas entre vários LMMs. Para validar nosso sistema de julgamento automatizado, construímos um 'padrão-ouro' usando um subconjunto cuidadosamente selecionado de anotações humanas, demonstrando que nossa arena está fortemente alinhada com o julgamento humano, mantendo a escalabilidade. Além disso, introduzimos uma estratégia de evolução orientada por falhas, aumentando progressivamente a complexidade das perguntas para levar os modelos a lidar com cenários de análise de vídeo mais desafiadores. Resultados experimentais demonstram que o VideoAutoArena diferencia efetivamente entre os LMMs de ponta, fornecendo insights sobre pontos fortes do modelo e áreas para melhoria. Para otimizar ainda mais nossa avaliação, introduzimos o VideoAutoBench como um benchmark auxiliar, onde anotadores humanos rotulam vencedores em um subconjunto de batalhas do VideoAutoArena. Utilizamos o GPT-4o como juiz para comparar as respostas com essas respostas validadas por humanos. Juntos, o VideoAutoArena e o VideoAutoBench oferecem um framework econômico e escalável para avaliar LMMs na análise de vídeo centrada no usuário.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.