VBench-2.0: Vooruitgang in de Benchmark Suite voor Videogeneratie voor Intrinsieke Nauwkeurigheid

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Auteurs: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Samenvatting

Videogeneratie heeft aanzienlijke vooruitgang geboekt, waarbij de ontwikkeling is gegaan van het produceren van onrealistische uitvoer naar het genereren van video's die visueel overtuigend en temporeel coherent lijken. Om deze videogeneratieve modellen te evalueren, zijn benchmarks zoals VBench ontwikkeld om hun geloofwaardigheid te beoordelen, waarbij factoren zoals esthetiek per frame, temporele consistentie en basispromptnaleving worden gemeten. Deze aspecten vertegenwoordigen echter voornamelijk oppervlakkige geloofwaardigheid, die zich richt op of de video visueel overtuigend lijkt in plaats van of deze voldoet aan real-world principes. Hoewel recente modellen steeds beter presteren op deze metrieken, hebben ze nog steeds moeite om video's te genereren die niet alleen visueel plausibel zijn, maar ook fundamenteel realistisch. Om echte "wereldmodellen" te bereiken via videogeneratie, ligt de volgende grens in intrinsieke geloofwaardigheid om ervoor te zorgen dat gegenereerde video's voldoen aan fysische wetten, gezond verstand, anatomische correctheid en compositionele integriteit. Het bereiken van dit realisme is essentieel voor toepassingen zoals AI-ondersteunde filmproductie en gesimuleerde wereldmodellering. Om deze kloof te overbruggen, introduceren we VBench-2.0, een next-generation benchmark ontworpen om videogeneratieve modellen automatisch te evalueren op hun intrinsieke geloofwaardigheid. VBench-2.0 beoordeelt vijf belangrijke dimensies: Menselijke Gelijkenis, Beheersbaarheid, Creativiteit, Fysica en Gezond Verstand, elk verder opgedeeld in fijnmazige capaciteiten. Ons evaluatieraamwerk, afgestemd op individuele dimensies, integreert generalisten zoals state-of-the-art VLMs en LLMs, en specialisten, waaronder anomaliedetectiemethoden voorgesteld voor videogeneratie. We voeren uitgebreide annotaties uit om afstemming met menselijk oordeel te waarborgen. Door verder te gaan dan oppervlakkige geloofwaardigheid naar intrinsieke geloofwaardigheid, streeft VBench-2.0 ernaar een nieuwe standaard te zetten voor de volgende generatie videogeneratieve modellen in de zoektocht naar intrinsieke geloofwaardigheid.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.