EvalCrafter: Evaluación y Comparativa de Modelos de Generación de Vídeo a Gran Escala

EvalCrafter: Benchmarking and Evaluating Large Video Generation Models

October 17, 2023

Autores: Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan

cs.AI

Resumen

Los modelos generativos de visión y lenguaje han experimentado un crecimiento exponencial en los últimos años. Para la generación de videos, se han lanzado diversos modelos de código abierto y servicios disponibles públicamente que permiten crear videos de alta calidad visual. Sin embargo, estos métodos suelen utilizar métricas académicas limitadas, como FVD o IS, para evaluar el rendimiento. Argumentamos que es difícil juzgar los modelos generativos condicionales de gran escala a partir de métricas simples, ya que estos modelos suelen entrenarse con conjuntos de datos muy grandes y poseen capacidades multifacéticas. Por ello, proponemos un nuevo marco y una metodología para evaluar exhaustivamente el rendimiento de los videos generados. Para lograrlo, primero elaboramos una nueva lista de prompts para la generación de texto a video, analizando listas de prompts del mundo real con la ayuda de un modelo de lenguaje grande. Luego, evaluamos los modelos generativos de video más avanzados en nuestros benchmarks cuidadosamente diseñados, considerando la calidad visual, la calidad del contenido, la calidad del movimiento y la alineación entre el texto y la descripción, utilizando alrededor de 18 métricas objetivas. Para obtener la clasificación final de los modelos, también ajustamos una serie de coeficientes para alinear las métricas objetivas con las opiniones de los usuarios. Basándonos en el método propuesto de alineación de opiniones, nuestra puntuación final muestra una mayor correlación que el simple promedio de las métricas, demostrando la efectividad del método de evaluación propuesto.

English

The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services are released for generating high-visual quality videos. However, these methods often use a few academic metrics, for example, FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a new framework and pipeline to exhaustively evaluate the performance of the generated videos. To achieve this, we first conduct a new prompt list for text-to-video generation by analyzing the real-world prompt list with the help of the large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmarks, in terms of visual qualities, content qualities, motion qualities, and text-caption alignment with around 18 objective metrics. To obtain the final leaderboard of the models, we also fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed opinion alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.