ChronoMagic-Bench: Um Benchmark para Avaliação Metamórfica da Geração de Vídeos de Lapso de Tempo a partir de Texto

ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation

June 26, 2024

Autores: Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan

cs.AI

Resumo

Propomos um novo benchmark de geração de texto para vídeo (T2V), ChronoMagic-Bench, para avaliar as capacidades temporais e metamórficas dos modelos T2V (por exemplo, Sora e Lumiere) na geração de vídeos em lapso de tempo. Em contraste com benchmarks existentes que se concentram na qualidade visual e relevância textual dos vídeos gerados, o ChronoMagic-Bench foca na capacidade do modelo de gerar vídeos em lapso de tempo com uma amplitude metamórfica significativa e coerência temporal. O benchmark investiga os modelos T2V por suas capacidades em física, biologia e química, em uma consulta de texto livre. Para esses propósitos, o ChronoMagic-Bench introduz 1.649 estímulos e vídeos do mundo real como referências, categorizados em quatro tipos principais de vídeos em lapso de tempo: biológicos, criados pelo ser humano, meteorológicos e fenômenos físicos, que são ainda divididos em 75 subcategorias. Essa categorização avalia de forma abrangente a capacidade do modelo de lidar com transformações diversas e complexas. Para alinhar com precisão a preferência humana com o benchmark, introduzimos duas novas métricas automáticas, MTScore e CHScore, para avaliar os atributos metamórficos e a coerência temporal dos vídeos. MTScore mede a amplitude metamórfica, refletindo o grau de mudança ao longo do tempo, enquanto CHScore avalia a coerência temporal, garantindo que os vídeos gerados mantenham progressão lógica e continuidade. Com base no ChronoMagic-Bench, realizamos avaliações manuais abrangentes de dez modelos representativos de T2V, revelando seus pontos fortes e fracos em diferentes categorias de estímulos, e fornecendo um framework de avaliação completo que aborda lacunas atuais na pesquisa de geração de vídeos. Além disso, criamos um conjunto de dados em larga escala, ChronoMagic-Pro, contendo 460 mil pares de vídeos em lapso de tempo de alta qualidade em 720p e legendas detalhadas garantindo alta pertinência física e grande amplitude metamórfica.

English

We propose a novel text-to-video (T2V) generation benchmark, ChronoMagic-Bench, to evaluate the temporal and metamorphic capabilities of the T2V models (e.g. Sora and Lumiere) in time-lapse video generation. In contrast to existing benchmarks that focus on the visual quality and textual relevance of generated videos, ChronoMagic-Bench focuses on the model's ability to generate time-lapse videos with significant metamorphic amplitude and temporal coherence. The benchmark probes T2V models for their physics, biology, and chemistry capabilities, in a free-form text query. For these purposes, ChronoMagic-Bench introduces 1,649 prompts and real-world videos as references, categorized into four major types of time-lapse videos: biological, human-created, meteorological, and physical phenomena, which are further divided into 75 subcategories. This categorization comprehensively evaluates the model's capacity to handle diverse and complex transformations. To accurately align human preference with the benchmark, we introduce two new automatic metrics, MTScore and CHScore, to evaluate the videos' metamorphic attributes and temporal coherence. MTScore measures the metamorphic amplitude, reflecting the degree of change over time, while CHScore assesses the temporal coherence, ensuring the generated videos maintain logical progression and continuity. Based on the ChronoMagic-Bench, we conduct comprehensive manual evaluations of ten representative T2V models, revealing their strengths and weaknesses across different categories of prompts, and providing a thorough evaluation framework that addresses current gaps in video generation research. Moreover, we create a large-scale ChronoMagic-Pro dataset, containing 460k high-quality pairs of 720p time-lapse videos and detailed captions ensuring high physical pertinence and large metamorphic amplitude.