ChronoMagic-Bench: Un punto de referencia para la evaluación metamórfica de la generación de texto a video time-lapse
ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation
June 26, 2024
Autores: Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan
cs.AI
Resumen
Proponemos un nuevo punto de referencia para la generación de texto a video (T2V), ChronoMagic-Bench, para evaluar las capacidades temporales y metamórficas de los modelos T2V (por ejemplo, Sora y Lumiere) en la generación de videos time-lapse. A diferencia de los puntos de referencia existentes que se centran en la calidad visual y la relevancia textual de los videos generados, ChronoMagic-Bench se enfoca en la capacidad del modelo para generar videos time-lapse con una amplitud metamórfica significativa y coherencia temporal. El punto de referencia examina las capacidades de física, biología y química de los modelos T2V mediante consultas de texto de forma libre. Para estos fines, ChronoMagic-Bench introduce 1,649 indicaciones y videos del mundo real como referencias, categorizados en cuatro tipos principales de videos time-lapse: fenómenos biológicos, creados por humanos, meteorológicos y físicos, que a su vez se dividen en 75 subcategorías. Esta categorización evalúa de manera integral la capacidad del modelo para manejar transformaciones diversas y complejas. Para alinear con precisión la preferencia humana con el punto de referencia, introducimos dos nuevas métricas automáticas, MTScore y CHScore, para evaluar los atributos metamórficos y la coherencia temporal de los videos. MTScore mide la amplitud metamórfica, reflejando el grado de cambio a lo largo del tiempo, mientras que CHScore evalúa la coherencia temporal, asegurando que los videos generados mantengan una progresión lógica y continuidad. Basándonos en ChronoMagic-Bench, realizamos evaluaciones manuales exhaustivas de diez modelos T2V representativos, revelando sus fortalezas y debilidades en diferentes categorías de indicaciones, y proporcionando un marco de evaluación completo que aborda las brechas actuales en la investigación de generación de videos. Además, creamos un conjunto de datos a gran escala, ChronoMagic-Pro, que contiene 460k pares de alta calidad de videos time-lapse en 720p y descripciones detalladas que aseguran una alta pertinencia física y una gran amplitud metamórfica.
English
We propose a novel text-to-video (T2V) generation benchmark,
ChronoMagic-Bench, to evaluate the temporal and metamorphic capabilities of the
T2V models (e.g. Sora and Lumiere) in time-lapse video generation. In contrast
to existing benchmarks that focus on the visual quality and textual relevance
of generated videos, ChronoMagic-Bench focuses on the model's ability to
generate time-lapse videos with significant metamorphic amplitude and temporal
coherence. The benchmark probes T2V models for their physics, biology, and
chemistry capabilities, in a free-form text query. For these purposes,
ChronoMagic-Bench introduces 1,649 prompts and real-world videos as references,
categorized into four major types of time-lapse videos: biological,
human-created, meteorological, and physical phenomena, which are further
divided into 75 subcategories. This categorization comprehensively evaluates
the model's capacity to handle diverse and complex transformations. To
accurately align human preference with the benchmark, we introduce two new
automatic metrics, MTScore and CHScore, to evaluate the videos' metamorphic
attributes and temporal coherence. MTScore measures the metamorphic amplitude,
reflecting the degree of change over time, while CHScore assesses the temporal
coherence, ensuring the generated videos maintain logical progression and
continuity. Based on the ChronoMagic-Bench, we conduct comprehensive manual
evaluations of ten representative T2V models, revealing their strengths and
weaknesses across different categories of prompts, and providing a thorough
evaluation framework that addresses current gaps in video generation research.
Moreover, we create a large-scale ChronoMagic-Pro dataset, containing 460k
high-quality pairs of 720p time-lapse videos and detailed captions ensuring
high physical pertinence and large metamorphic amplitude.