VF-Eval: Valutazione di Modelli Linguistici Multimodali per la Generazione di Feedback su Video AIGC

VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

May 29, 2025

Autori: Tingyu Song, Tongyan Hu, Guo Gan, Yilun Zhao

cs.AI

Abstract

I MLLM sono stati ampiamente studiati recentemente per il task di risposta a domande su video. Tuttavia, la maggior parte delle valutazioni esistenti si concentra su video naturali, trascurando i video sintetici, come i contenuti generati dall'IA (AIGC). Nel frattempo, alcuni lavori sulla generazione di video si affidano ai MLLM per valutare la qualità dei video generati, ma le capacità dei MLLM nell'interpretare i video AIGC rimangono in gran parte inesplorate. Per affrontare questo problema, proponiamo un nuovo benchmark, VF-Eval, che introduce quattro task—validazione della coerenza, consapevolezza degli errori, rilevamento del tipo di errore e valutazione del ragionamento—per valutare in modo completo le capacità dei MLLM sui video AIGC. Valutiamo 13 MLLM all'avanguardia su VF-Eval e scopriamo che anche il modello con le migliori prestazioni, GPT-4.1, fatica a ottenere risultati costantemente buoni in tutti i task. Ciò evidenzia la natura impegnativa del nostro benchmark. Inoltre, per indagare le applicazioni pratiche di VF-Eval nel migliorare la generazione di video, conduciamo un esperimento, RePrompt, dimostrando che allineare i MLLM più strettamente al feedback umano può avvantaggiare la generazione di video.

English

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.