VBench-2.0: Avanzando en el Conjunto de Evaluación de Generación de Vídeo para la Fidelidad Intrínseca

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Autores: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Resumen

La generación de videos ha avanzado significativamente, evolucionando desde la producción de resultados poco realistas hasta la generación de videos que parecen visualmente convincentes y temporalmente coherentes. Para evaluar estos modelos generativos de video, se han desarrollado puntos de referencia como VBench, que miden su fidelidad, evaluando factores como la estética por fotograma, la consistencia temporal y la adherencia básica al prompt. Sin embargo, estos aspectos representan principalmente una fidelidad superficial, que se centra en si el video parece visualmente convincente en lugar de si se ajusta a los principios del mundo real. Aunque los modelos recientes obtienen resultados cada vez mejores en estas métricas, todavía luchan por generar videos que no solo sean visualmente plausibles, sino fundamentalmente realistas. Para lograr verdaderos "modelos del mundo" a través de la generación de video, la próxima frontera radica en la fidelidad intrínseca, asegurando que los videos generados se ajusten a las leyes físicas, el razonamiento de sentido común, la corrección anatómica y la integridad compositiva. Alcanzar este nivel de realismo es esencial para aplicaciones como la producción cinematográfica asistida por IA y el modelado de mundos simulados. Para cerrar esta brecha, presentamos VBench-2.0, un punto de referencia de próxima generación diseñado para evaluar automáticamente los modelos generativos de video en términos de su fidelidad intrínseca. VBench-2.0 evalúa cinco dimensiones clave: Fidelidad Humana, Controlabilidad, Creatividad, Física y Sentido Común, cada una desglosada en capacidades más detalladas. Adaptado para dimensiones individuales, nuestro marco de evaluación integra generalistas, como los VLMs y LLMs más avanzados, y especialistas, incluyendo métodos de detección de anomalías propuestos para la generación de video. Realizamos anotaciones extensas para garantizar la alineación con el juicio humano. Al ir más allá de la fidelidad superficial hacia la fidelidad intrínseca, VBench-2.0 tiene como objetivo establecer un nuevo estándar para la próxima generación de modelos generativos de video en la búsqueda de la fidelidad intrínseca.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.