VBench-2.0: Avançando o Conjunto de Benchmark para Geração de Vídeo com Foco na Fidelidade Intrínseca

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Autores: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Resumo

A geração de vídeos avançou significativamente, evoluindo da produção de resultados irreais para a criação de vídeos visualmente convincentes e temporalmente coerentes. Para avaliar esses modelos generativos de vídeo, benchmarks como o VBench foram desenvolvidos para medir sua fidelidade, considerando fatores como estética por quadro, consistência temporal e aderência básica ao prompt. No entanto, esses aspectos representam principalmente uma fidelidade superficial, que se concentra em se o vídeo parece visualmente convincente, em vez de se ele adere a princípios do mundo real. Embora os modelos recentes tenham um desempenho cada vez melhor nessas métricas, eles ainda lutam para gerar vídeos que não sejam apenas visualmente plausíveis, mas fundamentalmente realistas. Para alcançar verdadeiros "modelos de mundo" por meio da geração de vídeos, a próxima fronteira está na fidelidade intrínseca, garantindo que os vídeos gerados adiram às leis físicas, ao raciocínio de senso comum, à correção anatômica e à integridade composicional. Alcançar esse nível de realismo é essencial para aplicações como a produção de filmes assistida por IA e a modelagem de mundos simulados. Para preencher essa lacuna, apresentamos o VBench-2.0, um benchmark de próxima geração projetado para avaliar automaticamente modelos generativos de vídeo quanto à sua fidelidade intrínseca. O VBench-2.0 avalia cinco dimensões principais: Fidelidade Humana, Controlabilidade, Criatividade, Física e Senso Comum, cada uma delas subdividida em capacidades refinadas. Adaptado para dimensões individuais, nosso framework de avaliação integra generalistas, como VLMs e LLMs de última geração, e especialistas, incluindo métodos de detecção de anomalias propostos para geração de vídeo. Realizamos anotações extensas para garantir o alinhamento com o julgamento humano. Ao ir além da fidelidade superficial em direção à fidelidade intrínseca, o VBench-2.0 visa estabelecer um novo padrão para a próxima geração de modelos generativos de vídeo na busca pela fidelidade intrínseca.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.