EvalCrafter : Évaluation comparative et analyse des modèles de génération de vidéos à grande échelle

EvalCrafter: Benchmarking and Evaluating Large Video Generation Models

October 17, 2023

Auteurs: Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan

cs.AI

Résumé

Les modèles génératifs de vision et de langage ont connu une croissance exponentielle ces dernières années. Pour la génération de vidéos, divers modèles open-source et services publics ont été mis à disposition pour produire des vidéos de haute qualité visuelle. Cependant, ces méthodes utilisent souvent quelques métriques académiques, telles que le FVD ou l'IS, pour évaluer les performances. Nous soutenons qu'il est difficile de juger les grands modèles génératifs conditionnels à partir de métriques simples, car ces modèles sont souvent entraînés sur des ensembles de données très volumineux avec des capacités multidimensionnelles. Ainsi, nous proposons un nouveau cadre et une nouvelle pipeline pour évaluer de manière exhaustive les performances des vidéos générées. Pour ce faire, nous commençons par établir une nouvelle liste de prompts pour la génération de texte-à-vidéo en analysant une liste de prompts du monde réel avec l'aide d'un grand modèle de langage. Ensuite, nous évaluons les modèles génératifs de vidéo les plus avancés sur nos benchmarks soigneusement conçus, en termes de qualités visuelles, de qualités de contenu, de qualités de mouvement et d'alignement texte-légende avec environ 18 métriques objectives. Pour obtenir le classement final des modèles, nous ajustons également une série de coefficients pour aligner les métriques objectives avec les opinions des utilisateurs. Sur la base de la méthode d'alignement des opinions proposée, notre score final montre une corrélation plus élevée que la simple moyenne des métriques, démontrant ainsi l'efficacité de la méthode d'évaluation proposée.

English

The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services are released for generating high-visual quality videos. However, these methods often use a few academic metrics, for example, FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a new framework and pipeline to exhaustively evaluate the performance of the generated videos. To achieve this, we first conduct a new prompt list for text-to-video generation by analyzing the real-world prompt list with the help of the large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmarks, in terms of visual qualities, content qualities, motion qualities, and text-caption alignment with around 18 objective metrics. To obtain the final leaderboard of the models, we also fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed opinion alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.