EvalCrafter: Бенчмаркинг и оценка крупных моделей генерации видео

EvalCrafter: Benchmarking and Evaluating Large Video Generation Models

October 17, 2023

Авторы: Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan

cs.AI

Аннотация

В последние годы наблюдается бурный рост генеративных моделей, работающих с визуальными и языковыми данными. Для генерации видео выпущены различные модели с открытым исходным кодом и общедоступные сервисы, способные создавать видео с высоким визуальным качеством. Однако эти методы часто используют ограниченный набор академических метрик, таких как FVD или IS, для оценки производительности. Мы утверждаем, что судить о крупных условных генеративных моделях по простым метрикам сложно, поскольку такие модели обычно обучаются на очень больших наборах данных и обладают многогранными способностями. Таким образом, мы предлагаем новый фреймворк и подход для всесторонней оценки качества генерируемых видео. Для этого мы сначала создаем новый список промптов для генерации видео на основе текста, анализируя реальные запросы с помощью крупной языковой модели. Затем мы оцениваем современные модели генерации видео на наших тщательно разработанных бенчмарках, учитывая визуальное качество, качество контента, качество движения и соответствие текстовому описанию с использованием около 18 объективных метрик. Чтобы получить итоговый рейтинг моделей, мы также подбираем ряд коэффициентов для согласования объективных метрик с мнениями пользователей. На основе предложенного метода согласования с мнениями наш итоговый показатель демонстрирует более высокую корреляцию, чем простое усреднение метрик, что подтверждает эффективность предложенного метода оценки.

English

The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services are released for generating high-visual quality videos. However, these methods often use a few academic metrics, for example, FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a new framework and pipeline to exhaustively evaluate the performance of the generated videos. To achieve this, we first conduct a new prompt list for text-to-video generation by analyzing the real-world prompt list with the help of the large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmarks, in terms of visual qualities, content qualities, motion qualities, and text-caption alignment with around 18 objective metrics. To obtain the final leaderboard of the models, we also fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed opinion alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.