VBench++: Обширный и универсальный набор тестов для видео генеративных моделей.

VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models

November 20, 2024

Авторы: Ziqi Huang, Fan Zhang, Xiaojie Xu, Yinan He, Jiashuo Yu, Ziyue Dong, Qianli Ma, Nattapol Chanpaisit, Chenyang Si, Yuming Jiang, Yaohui Wang, Xinyuan Chen, Ying-Cong Chen, Limin Wang, Dahua Lin, Yu Qiao, Ziwei Liu

cs.AI

Аннотация

Генерация видео пережила значительные прорывы, однако оценка этих моделей остается вызовом. Комплексный бенчмарк для оценки генерации видео необходим по двум причинам: 1) Существующие метрики не полностью соответствуют человеческому восприятию; 2) Идеальная система оценки должна предоставлять понимание для будущего развития генерации видео. В этом контексте мы представляем VBench, комплексный набор бенчмарков, который разбивает "качество генерации видео" на конкретные, иерархические и разделенные измерения, каждое с индивидуальными подсказками и методами оценки. VBench обладает несколькими привлекательными свойствами: 1) Комплексные Измерения: VBench включает 16 измерений в генерации видео (например, несоответствие идентификации объекта, плавность движения, временные мерцания и пространственные отношения и т. д.). Метрики оценки с детализированными уровнями раскрывают сильные и слабые стороны отдельных моделей. 2) Соответствие Человеку: Мы также предоставляем набор данных аннотаций предпочтений людей для проверки соответствия наших бенчмарков человеческому восприятию для каждого измерения оценки соответственно. 3) Ценные Инсайты: Мы изучаем способности текущих моделей по различным измерениям оценки и различным типам контента. Мы также исследуем разрывы между моделями генерации видео и изображений. 4) Универсальное Тестирование: VBench++ поддерживает оценку текста-видео и изображения-видео. Мы представляем высококачественный Набор Изображений с адаптивным соотношением сторон для обеспечения справедливых оценок в различных настройках генерации изображения в видео. Помимо оценки технического качества, VBench++ оценивает надежность моделей генерации видео, предоставляя более глобальное представление о производительности модели. 5) Полное Открытие: Мы полностью открываем исходный код VBench++ и постоянно добавляем новые модели генерации видео в наш рейтинговый список для продвижения области генерации видео.

English

Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human perceptions; 2) An ideal evaluation system should provide insights to inform future developments of video generation. To this end, we present VBench, a comprehensive benchmark suite that dissects "video generation quality" into specific, hierarchical, and disentangled dimensions, each with tailored prompts and evaluation methods. VBench has several appealing properties: 1) Comprehensive Dimensions: VBench comprises 16 dimensions in video generation (e.g., subject identity inconsistency, motion smoothness, temporal flickering, and spatial relationship, etc). The evaluation metrics with fine-grained levels reveal individual models' strengths and weaknesses. 2) Human Alignment: We also provide a dataset of human preference annotations to validate our benchmarks' alignment with human perception, for each evaluation dimension respectively. 3) Valuable Insights: We look into current models' ability across various evaluation dimensions, and various content types. We also investigate the gaps between video and image generation models. 4) Versatile Benchmarking: VBench++ supports evaluating text-to-video and image-to-video. We introduce a high-quality Image Suite with an adaptive aspect ratio to enable fair evaluations across different image-to-video generation settings. Beyond assessing technical quality, VBench++ evaluates the trustworthiness of video generative models, providing a more holistic view of model performance. 5) Full Open-Sourcing: We fully open-source VBench++ and continually add new video generation models to our leaderboard to drive forward the field of video generation.