VF-Eval: Evaluatie van Multimodale LLM's voor het Genereren van Feedback op AIGC-Video's

VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

May 29, 2025

Auteurs: Tingyu Song, Tongyan Hu, Guo Gan, Yilun Zhao

cs.AI

Samenvatting

MLLM's zijn recentelijk uitgebreid bestudeerd voor video-vraagbeantwoording. De meeste bestaande evaluaties richten zich echter op natuurlijke video's en negeren synthetische video's, zoals AI-gegenereerde inhoud (AIGC). Tegelijkertijd zijn er enkele werken in videogeneratie die afhankelijk zijn van MLLM's om de kwaliteit van gegenereerde video's te beoordelen, maar de mogelijkheden van MLLM's om AIGC-video's te interpreteren blijven grotendeels onderbelicht. Om dit aan te pakken, stellen we een nieuwe benchmark voor, VF-Eval, die vier taken introduceert: coherentievalidatie, foutbewustzijn, fouttypedetectie en redeneerevaluatie, om de vaardigheden van MLLM's op AIGC-video's uitgebreid te beoordelen. We evalueren 13 vooraanstaande MLLM's op VF-Eval en ontdekken dat zelfs het best presterende model, GPT-4.1, moeite heeft om consistent goede prestaties te leveren over alle taken. Dit benadrukt de uitdagende aard van onze benchmark. Daarnaast voeren we, om de praktische toepassingen van VF-Eval bij het verbeteren van videogeneratie te onderzoeken, een experiment uit, RePrompt, dat aantoont dat het beter afstemmen van MLLM's op menselijke feedback voordelig kan zijn voor videogeneratie.

English

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.