ChronoMagic-Bench: Un Benchmark per la Valutazione Metamorfica della Generazione di Video Time-lapse da Testo
ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation
June 26, 2024
Autori: Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan
cs.AI
Abstract
Proponiamo un nuovo benchmark per la generazione testo-video (T2V), ChronoMagic-Bench, per valutare le capacità temporali e metamorfiche dei modelli T2V (ad esempio Sora e Lumiere) nella generazione di video time-lapse. A differenza dei benchmark esistenti che si concentrano sulla qualità visiva e sulla pertinenza testuale dei video generati, ChronoMagic-Bench si focalizza sulla capacità del modello di generare video time-lapse con un'ampiezza metamorfica significativa e coerenza temporale. Il benchmark mette alla prova i modelli T2V sulle loro capacità in fisica, biologia e chimica, attraverso query testuali libere. A tal fine, ChronoMagic-Bench introduce 1.649 prompt e video del mondo reale come riferimenti, categorizzati in quattro principali tipologie di video time-lapse: fenomeni biologici, creati dall'uomo, meteorologici e fisici, ulteriormente suddivisi in 75 sottocategorie. Questa categorizzazione valuta in modo completo la capacità del modello di gestire trasformazioni diverse e complesse. Per allineare accuratamente le preferenze umane con il benchmark, introduciamo due nuove metriche automatiche, MTScore e CHScore, per valutare gli attributi metamorfici e la coerenza temporale dei video. MTScore misura l'ampiezza metamorfica, riflettendo il grado di cambiamento nel tempo, mentre CHScore valuta la coerenza temporale, assicurando che i video generati mantengano una progressione logica e continuità. Basandoci su ChronoMagic-Bench, conduciamo valutazioni manuali complete di dieci modelli T2V rappresentativi, rivelando i loro punti di forza e debolezza attraverso diverse categorie di prompt, e fornendo un quadro di valutazione approfondito che affronta le attuali lacune nella ricerca sulla generazione video. Inoltre, creiamo un dataset su larga scala, ChronoMagic-Pro, contenente 460k coppie di video time-lapse in 720p e didascalie dettagliate che garantiscono alta pertinenza fisica e ampia ampiezza metamorfica.
English
We propose a novel text-to-video (T2V) generation benchmark,
ChronoMagic-Bench, to evaluate the temporal and metamorphic capabilities of the
T2V models (e.g. Sora and Lumiere) in time-lapse video generation. In contrast
to existing benchmarks that focus on the visual quality and textual relevance
of generated videos, ChronoMagic-Bench focuses on the model's ability to
generate time-lapse videos with significant metamorphic amplitude and temporal
coherence. The benchmark probes T2V models for their physics, biology, and
chemistry capabilities, in a free-form text query. For these purposes,
ChronoMagic-Bench introduces 1,649 prompts and real-world videos as references,
categorized into four major types of time-lapse videos: biological,
human-created, meteorological, and physical phenomena, which are further
divided into 75 subcategories. This categorization comprehensively evaluates
the model's capacity to handle diverse and complex transformations. To
accurately align human preference with the benchmark, we introduce two new
automatic metrics, MTScore and CHScore, to evaluate the videos' metamorphic
attributes and temporal coherence. MTScore measures the metamorphic amplitude,
reflecting the degree of change over time, while CHScore assesses the temporal
coherence, ensuring the generated videos maintain logical progression and
continuity. Based on the ChronoMagic-Bench, we conduct comprehensive manual
evaluations of ten representative T2V models, revealing their strengths and
weaknesses across different categories of prompts, and providing a thorough
evaluation framework that addresses current gaps in video generation research.
Moreover, we create a large-scale ChronoMagic-Pro dataset, containing 460k
high-quality pairs of 720p time-lapse videos and detailed captions ensuring
high physical pertinence and large metamorphic amplitude.