VideoAutoArena: Автоматизированная арена для оценки больших мультимодальных моделей в анализе видео через симуляцию пользователей

VideoAutoArena: An Automated Arena for Evaluating Large Multimodal Models in Video Analysis through User Simulation

November 20, 2024

Авторы: Ziyang Luo, Haoning Wu, Dongxu Li, Jing Ma, Mohan Kankanhalli, Junnan Li

cs.AI

Аннотация

Большие мультимодальные модели (LMM) с продвинутыми возможностями анализа видео недавно привлекли значительное внимание. Однако большинство оценок полагаются на традиционные методы, такие как вопросы с множественным выбором в бенчмарках, таких как VideoMME и LongVideoBench, которые часто не обладают достаточной глубиной для улавливания сложных требований реальных пользователей. Для преодоления этого ограничения, а также из-за высокой стоимости и медленного темпа человеческой аннотации для видео задач, мы представляем VideoAutoArena - бенчмарк в стиле арены, вдохновленный фреймворком LMSYS Chatbot Arena, разработанный для автоматической оценки способностей LMM в анализе видео. VideoAutoArena использует симуляцию пользователей для генерации открытых, адаптивных вопросов, которые строго оценивают производительность модели в понимании видео. Бенчмарк представляет собой автоматизированный, масштабируемый фреймворк оценки, включающий модифицированную систему рейтинга ELO для справедливого и непрерывного сравнения между несколькими LMM. Для проверки нашей автоматизированной системы судейства мы создаем "золотой стандарт", используя тщательно отобранный поднабор человеческих аннотаций, демонстрируя, что наша арена тесно соответствует человеческому суждению, сохраняя при этом масштабируемость. Кроме того, мы представляем стратегию эволюции, основанную на ошибках, постепенно увеличивая сложность вопросов, чтобы стимулировать модели к обработке более сложных сценариев анализа видео. Экспериментальные результаты показывают, что VideoAutoArena эффективно различает среди современных LMM, предоставляя понимание сильных сторон модели и областей для улучшения. Для дальнейшего упрощения нашей оценки мы представляем VideoAutoBench как вспомогательный бенчмарк, где человеческие аннотаторы помечают победителей в подмножестве битв VideoAutoArena. Мы используем GPT-4o в качестве судьи для сравнения ответов с этими подтвержденными человеком ответами. Вместе VideoAutoArena и VideoAutoBench предлагают экономичный и масштабируемый фреймворк для оценки LMM в анализе видео, ориентированном на пользователя.

English

Large multimodal models (LMMs) with advanced video analysis capabilities have recently garnered significant attention. However, most evaluations rely on traditional methods like multiple-choice questions in benchmarks such as VideoMME and LongVideoBench, which are prone to lack the depth needed to capture the complex demands of real-world users. To address this limitation-and due to the prohibitive cost and slow pace of human annotation for video tasks-we introduce VideoAutoArena, an arena-style benchmark inspired by LMSYS Chatbot Arena's framework, designed to automatically assess LMMs' video analysis abilities. VideoAutoArena utilizes user simulation to generate open-ended, adaptive questions that rigorously assess model performance in video understanding. The benchmark features an automated, scalable evaluation framework, incorporating a modified ELO Rating System for fair and continuous comparisons across multiple LMMs. To validate our automated judging system, we construct a 'gold standard' using a carefully curated subset of human annotations, demonstrating that our arena strongly aligns with human judgment while maintaining scalability. Additionally, we introduce a fault-driven evolution strategy, progressively increasing question complexity to push models toward handling more challenging video analysis scenarios. Experimental results demonstrate that VideoAutoArena effectively differentiates among state-of-the-art LMMs, providing insights into model strengths and areas for improvement. To further streamline our evaluation, we introduce VideoAutoBench as an auxiliary benchmark, where human annotators label winners in a subset of VideoAutoArena battles. We use GPT-4o as a judge to compare responses against these human-validated answers. Together, VideoAutoArena and VideoAutoBench offer a cost-effective, and scalable framework for evaluating LMMs in user-centric video analysis.