VF-Eval: Avaliação de Modelos de Linguagem Multimodais para Geração de Feedback em Vídeos de AIGC

VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

May 29, 2025

Autores: Tingyu Song, Tongyan Hu, Guo Gan, Yilun Zhao

cs.AI

Resumo

Os MLLMs (Modelos Multimodais de Linguagem) têm sido amplamente estudados recentemente para a tarefa de resposta a perguntas em vídeos. No entanto, a maioria das avaliações existentes concentra-se em vídeos naturais, negligenciando vídeos sintéticos, como conteúdo gerado por IA (AIGC). Paralelamente, alguns trabalhos em geração de vídeos dependem de MLLMs para avaliar a qualidade dos vídeos gerados, mas as capacidades dos MLLMs na interpretação de vídeos AIGC permanecem amplamente inexploradas. Para abordar essa lacuna, propomos um novo benchmark, o VF-Eval, que introduz quatro tarefas — validação de coerência, consciência de erros, detecção de tipos de erro e avaliação de raciocínio — para avaliar de forma abrangente as habilidades dos MLLMs em vídeos AIGC. Avaliamos 13 MLLMs de ponta no VF-Eval e constatamos que mesmo o modelo com melhor desempenho, o GPT-4.1, enfrenta dificuldades para alcançar um desempenho consistentemente bom em todas as tarefas. Isso destaca a natureza desafiadora do nosso benchmark. Além disso, para investigar as aplicações práticas do VF-Eval na melhoria da geração de vídeos, conduzimos um experimento, o RePrompt, demonstrando que alinhar os MLLMs mais de perto com o feedback humano pode beneficiar a geração de vídeos.

English

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.