ChronoMagic-Bench : Un benchmark pour l'évaluation métamorphique de la génération de vidéos accélérées à partir de texte

ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation

June 26, 2024

Auteurs: Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan

cs.AI

Résumé

Nous proposons un nouveau benchmark de génération texte-vidéo (T2V), ChronoMagic-Bench, pour évaluer les capacités temporelles et métamorphiques des modèles T2V (par exemple, Sora et Lumiere) dans la génération de vidéos en accéléré. Contrairement aux benchmarks existants qui se concentrent sur la qualité visuelle et la pertinence textuelle des vidéos générées, ChronoMagic-Bench met l'accent sur la capacité du modèle à générer des vidéos en accéléré avec une amplitude métamorphique significative et une cohérence temporelle. Le benchmark explore les capacités des modèles T2V en physique, biologie et chimie, via des requêtes textuelles libres. À cette fin, ChronoMagic-Bench introduit 1 649 prompts et des vidéos du monde réel comme références, catégorisées en quatre grands types de vidéos en accéléré : biologiques, créées par l'homme, météorologiques et phénomènes physiques, eux-mêmes divisés en 75 sous-catégories. Cette catégorisation évalue de manière exhaustive la capacité du modèle à gérer des transformations diverses et complexes. Pour aligner précisément les préférences humaines avec le benchmark, nous introduisons deux nouvelles métriques automatiques, MTScore et CHScore, pour évaluer les attributs métamorphiques et la cohérence temporelle des vidéos. MTScore mesure l'amplitude métamorphique, reflétant le degré de changement dans le temps, tandis que CHScore évalue la cohérence temporelle, garantissant que les vidéos générées maintiennent une progression logique et une continuité. Sur la base de ChronoMagic-Bench, nous menons des évaluations manuelles complètes de dix modèles T2V représentatifs, révélant leurs forces et faiblesses à travers différentes catégories de prompts, et fournissons un cadre d'évaluation approfondi qui comble les lacunes actuelles dans la recherche sur la génération de vidéos. De plus, nous créons un ensemble de données à grande échelle, ChronoMagic-Pro, contenant 460 000 paires de vidéos en accéléré en 720p et des légendes détaillées, garantissant une pertinence physique élevée et une grande amplitude métamorphique.

English

We propose a novel text-to-video (T2V) generation benchmark, ChronoMagic-Bench, to evaluate the temporal and metamorphic capabilities of the T2V models (e.g. Sora and Lumiere) in time-lapse video generation. In contrast to existing benchmarks that focus on the visual quality and textual relevance of generated videos, ChronoMagic-Bench focuses on the model's ability to generate time-lapse videos with significant metamorphic amplitude and temporal coherence. The benchmark probes T2V models for their physics, biology, and chemistry capabilities, in a free-form text query. For these purposes, ChronoMagic-Bench introduces 1,649 prompts and real-world videos as references, categorized into four major types of time-lapse videos: biological, human-created, meteorological, and physical phenomena, which are further divided into 75 subcategories. This categorization comprehensively evaluates the model's capacity to handle diverse and complex transformations. To accurately align human preference with the benchmark, we introduce two new automatic metrics, MTScore and CHScore, to evaluate the videos' metamorphic attributes and temporal coherence. MTScore measures the metamorphic amplitude, reflecting the degree of change over time, while CHScore assesses the temporal coherence, ensuring the generated videos maintain logical progression and continuity. Based on the ChronoMagic-Bench, we conduct comprehensive manual evaluations of ten representative T2V models, revealing their strengths and weaknesses across different categories of prompts, and providing a thorough evaluation framework that addresses current gaps in video generation research. Moreover, we create a large-scale ChronoMagic-Pro dataset, containing 460k high-quality pairs of 720p time-lapse videos and detailed captions ensuring high physical pertinence and large metamorphic amplitude.