VBench++: Suite de Evaluación Integral y Versátil para Modelos Generativos de Video

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Autores: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Resumen

La generación de videos ha experimentado avances significativos, sin embargo, evaluar estos modelos sigue siendo un desafío. Un banco de pruebas de evaluación integral para la generación de videos es indispensable por dos razones: 1) Las métricas existentes no se alinean completamente con las percepciones humanas; 2) Un sistema de evaluación ideal debería proporcionar información para orientar los futuros desarrollos en la generación de videos. Con este fin, presentamos VBench, un conjunto de bancos de pruebas exhaustivo que descompone la "calidad de generación de videos" en dimensiones específicas, jerárquicas y desentrañadas, cada una con indicaciones y métodos de evaluación adaptados. VBench tiene varias propiedades atractivas: 1) Dimensiones Comprensivas: VBench consta de 16 dimensiones en la generación de videos (por ejemplo, inconsistencia en la identidad del sujeto, suavidad del movimiento, parpadeo temporal y relación espacial, etc.). Las métricas de evaluación con niveles detallados revelan las fortalezas y debilidades de los modelos individuales. 2) Alineación Humana: También proporcionamos un conjunto de datos de anotaciones de preferencia humana para validar la alineación de nuestras pruebas con la percepción humana, para cada dimensión de evaluación respectivamente. 3) Información Valiosa: Analizamos la capacidad de los modelos actuales en diversas dimensiones de evaluación y tipos de contenido. También investigamos las brechas entre los modelos de generación de videos e imágenes. 4) Evaluación Versátil: VBench++ admite la evaluación de texto a video e imagen a video. Presentamos un Conjunto de Imágenes de alta calidad con una relación de aspecto adaptable para permitir evaluaciones justas en diferentes configuraciones de generación de imágenes a video. Más allá de evaluar la calidad técnica, VBench++ evalúa la confiabilidad de los modelos generativos de video, proporcionando una visión más holística del rendimiento del modelo. 5) Total Código Abierto: Abrimos completamente el código fuente de VBench++ y continuamente agregamos nuevos modelos de generación de videos a nuestra tabla de clasificación para impulsar el campo de la generación de videos.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.