VF-Eval: Оценка мультимодальных языковых моделей для генерации обратной связи на видео, созданные с помощью ИИ

VF-Eval: Evaluating Multimodal LLMs for Generating Feedback on AIGC Videos

May 29, 2025

Авторы: Tingyu Song, Tongyan Hu, Guo Gan, Yilun Zhao

cs.AI

Аннотация

Мультимодальные языковые модели (MLLMs) активно изучаются в контексте ответов на вопросы по видео в последнее время. Однако большинство существующих оценок сосредоточено на естественных видео, игнорируя синтетические видео, такие как контент, созданный искусственным интеллектом (AIGC). В то же время некоторые работы в области генерации видео полагаются на MLLMs для оценки качества созданных видео, но способности MLLMs интерпретировать видео AIGC остаются в значительной степени неисследованными. Чтобы устранить этот пробел, мы предлагаем новый бенчмарк, VF-Eval, который включает четыре задачи — проверку связности, осознание ошибок, определение типа ошибок и оценку рассуждений — для всесторонней оценки способностей MLLMs на видео AIGC. Мы оценили 13 передовых MLLMs на VF-Eval и обнаружили, что даже лучшая модель, GPT-4.1, с трудом достигает стабильно хороших результатов по всем задачам. Это подчеркивает сложность нашего бенчмарка. Кроме того, чтобы исследовать практическое применение VF-Eval в улучшении генерации видео, мы провели эксперимент RePrompt, демонстрируя, что более тесное согласование MLLMs с обратной связью от человека может быть полезным для генерации видео.

English

MLLMs have been widely studied for video question answering recently. However, most existing assessments focus on natural videos, overlooking synthetic videos, such as AI-generated content (AIGC). Meanwhile, some works in video generation rely on MLLMs to evaluate the quality of generated videos, but the capabilities of MLLMs on interpreting AIGC videos remain largely underexplored. To address this, we propose a new benchmark, VF-Eval, which introduces four tasks-coherence validation, error awareness, error type detection, and reasoning evaluation-to comprehensively evaluate the abilities of MLLMs on AIGC videos. We evaluate 13 frontier MLLMs on VF-Eval and find that even the best-performing model, GPT-4.1, struggles to achieve consistently good performance across all tasks. This highlights the challenging nature of our benchmark. Additionally, to investigate the practical applications of VF-Eval in improving video generation, we conduct an experiment, RePrompt, demonstrating that aligning MLLMs more closely with human feedback can benefit video generation.