VF-Eval: Evaluación de LLM multimodales para la generación de retroalimentación sobre videos de AIGC

VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

May 29, 2025

Autores: Tingyu Song, Tongyan Hu, Guo Gan, Yilun Zhao

cs.AI

Resumen

Los MLLM (Modelos Multimodales de Lenguaje) han sido ampliamente estudiados recientemente para la tarea de respuesta a preguntas sobre videos. Sin embargo, la mayoría de las evaluaciones existentes se centran en videos naturales, pasando por alto los videos sintéticos, como el contenido generado por IA (AIGC). Paralelamente, algunos trabajos en generación de videos dependen de MLLM para evaluar la calidad de los videos generados, pero las capacidades de los MLLM para interpretar videos AIGC siguen siendo en gran parte inexploradas. Para abordar esto, proponemos un nuevo punto de referencia, VF-Eval, que introduce cuatro tareas—validación de coherencia, conciencia de errores, detección de tipos de errores y evaluación de razonamiento—para evaluar de manera integral las habilidades de los MLLM en videos AIGC. Evaluamos 13 MLLM de vanguardia en VF-Eval y encontramos que incluso el modelo con mejor rendimiento, GPT-4.1, tiene dificultades para lograr un desempeño consistentemente bueno en todas las tareas. Esto resalta la naturaleza desafiante de nuestro punto de referencia. Además, para investigar las aplicaciones prácticas de VF-Eval en la mejora de la generación de videos, llevamos a cabo un experimento, RePrompt, que demuestra que alinear más estrechamente los MLLM con la retroalimentación humana puede beneficiar la generación de videos.

English

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.