VideoAutoArena: Una Arena Automatizada para Evaluar Modelos Multimodales Grandes en el Análisis de Video a través de la Simulación de Usuario

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Autores: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Resumen

Los modelos multimodales grandes (LMMs) con capacidades avanzadas de análisis de video han captado recientemente una atención significativa. Sin embargo, la mayoría de las evaluaciones se basan en métodos tradicionales como preguntas de opción múltiple en bancos de pruebas como VideoMME y LongVideoBench, que tienden a carecer de la profundidad necesaria para capturar las demandas complejas de los usuarios del mundo real. Para abordar esta limitación, y debido al costo prohibitivo y al ritmo lento de la anotación humana para tareas de video, presentamos VideoAutoArena, un banco de pruebas de estilo arena inspirado en el marco de LMSYS Chatbot Arena, diseñado para evaluar automáticamente las capacidades de análisis de video de los LMMs. VideoAutoArena utiliza simulación de usuario para generar preguntas abiertas y adaptativas que evalúan rigurosamente el rendimiento del modelo en la comprensión de video. El banco de pruebas cuenta con un marco de evaluación automatizado y escalable, que incorpora un Sistema de Puntuación ELO modificado para comparaciones justas y continuas entre varios LMMs. Para validar nuestro sistema de evaluación automatizado, construimos un 'estándar de oro' utilizando un subconjunto cuidadosamente seleccionado de anotaciones humanas, demostrando que nuestra arena se alinea fuertemente con el juicio humano manteniendo la escalabilidad. Además, introducimos una estrategia de evolución impulsada por fallos, aumentando progresivamente la complejidad de las preguntas para llevar a los modelos a manejar escenarios de análisis de video más desafiantes. Los resultados experimentales muestran que VideoAutoArena diferencia efectivamente entre los LMMs de vanguardia, proporcionando información sobre las fortalezas del modelo y áreas de mejora. Para agilizar aún más nuestra evaluación, presentamos VideoAutoBench como un banco de pruebas auxiliar, donde los anotadores humanos etiquetan a los ganadores en un subconjunto de batallas de VideoAutoArena. Utilizamos GPT-4o como juez para comparar las respuestas con estas respuestas validadas por humanos. Juntos, VideoAutoArena y VideoAutoBench ofrecen un marco rentable y escalable para evaluar LMMs en análisis de video centrado en el usuario.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.