VBench-2.0: Развитие набора тестов для оценки генерации видео с акцентом на внутреннюю достоверность

VBench-2.0: Advancing Video Generation Benchmark Suite for Intrinsic Faithfulness

March 27, 2025

Авторы: Dian Zheng, Ziqi Huang, Hongbo Liu, Kai Zou, Yinan He, Fan Zhang, Yuanhan Zhang, Jingwen He, Wei-Shi Zheng, Yu Qiao, Ziwei Liu

cs.AI

Аннотация

Генерация видео значительно продвинулась вперед, эволюционировав от создания нереалистичных результатов до генерации видео, которые выглядят визуально убедительными и временно согласованными. Для оценки этих моделей генерации видео были разработаны бенчмарки, такие как VBench, которые измеряют их достоверность, учитывая такие факторы, как эстетика каждого кадра, временная согласованность и базовое соответствие запросу. Однако эти аспекты в основном представляют поверхностную достоверность, которая фокусируется на том, выглядит ли видео визуально убедительным, а не на том, соответствует ли оно принципам реального мира. Хотя современные модели показывают все лучшие результаты по этим метрикам, они по-прежнему сталкиваются с трудностями в создании видео, которые не только визуально правдоподобны, но и фундаментально реалистичны. Для достижения настоящих "моделей мира" через генерацию видео следующая граница заключается в обеспечении внутренней достоверности, чтобы сгенерированные видео соответствовали физическим законам, здравому смыслу, анатомической корректности и композиционной целостности. Достижение такого уровня реализма крайне важно для приложений, таких как создание фильмов с помощью ИИ и моделирование виртуальных миров. Чтобы преодолеть этот разрыв, мы представляем VBench-2.0 — бенчмарк следующего поколения, предназначенный для автоматической оценки моделей генерации видео с точки зрения их внутренней достоверности. VBench-2.0 оценивает пять ключевых аспектов: достоверность человека, управляемость, креативность, физика и здравый смысл, каждый из которых разбит на более детализированные возможности. Наша система оценки, адаптированная для каждого аспекта, интегрирует универсальные инструменты, такие как современные модели обработки визуальных и языковых данных (VLMs и LLMs), и специализированные методы, включая подходы к обнаружению аномалий, предложенные для генерации видео. Мы проводим обширные аннотации, чтобы обеспечить соответствие человеческому суждению. Продвигаясь за пределы поверхностной достоверности к внутренней, VBench-2.0 стремится установить новый стандарт для следующего поколения моделей генерации видео, ориентированных на достижение внутренней достоверности.

English

Video generation has advanced significantly, evolving from producing unrealistic outputs to generating videos that appear visually convincing and temporally coherent. To evaluate these video generative models, benchmarks such as VBench have been developed to assess their faithfulness, measuring factors like per-frame aesthetics, temporal consistency, and basic prompt adherence. However, these aspects mainly represent superficial faithfulness, which focus on whether the video appears visually convincing rather than whether it adheres to real-world principles. While recent models perform increasingly well on these metrics, they still struggle to generate videos that are not just visually plausible but fundamentally realistic. To achieve real "world models" through video generation, the next frontier lies in intrinsic faithfulness to ensure that generated videos adhere to physical laws, commonsense reasoning, anatomical correctness, and compositional integrity. Achieving this level of realism is essential for applications such as AI-assisted filmmaking and simulated world modeling. To bridge this gap, we introduce VBench-2.0, a next-generation benchmark designed to automatically evaluate video generative models for their intrinsic faithfulness. VBench-2.0 assesses five key dimensions: Human Fidelity, Controllability, Creativity, Physics, and Commonsense, each further broken down into fine-grained capabilities. Tailored for individual dimensions, our evaluation framework integrates generalists such as state-of-the-art VLMs and LLMs, and specialists, including anomaly detection methods proposed for video generation. We conduct extensive annotations to ensure alignment with human judgment. By pushing beyond superficial faithfulness toward intrinsic faithfulness, VBench-2.0 aims to set a new standard for the next generation of video generative models in pursuit of intrinsic faithfulness.