ChronoMagic-Bench: Набор данных для метаморфного оценивания генерации видео ускоренного воспроизведения текста.

ChronoMagic-Bench: A Benchmark for Metamorphic Evaluation of Text-to-Time-lapse Video Generation

June 26, 2024

Авторы: Shenghai Yuan, Jinfa Huang, Yongqi Xu, Yaoyang Liu, Shaofeng Zhang, Yujun Shi, Ruijie Zhu, Xinhua Cheng, Jiebo Luo, Li Yuan

cs.AI

Аннотация

Мы предлагаем новый бенчмарк генерации текста в видео (T2V) - ChronoMagic-Bench, чтобы оценить временные и метаморфные возможности моделей T2V (например, Sora и Lumiere) в создании видео с эффектом ускоренного воспроизведения. В отличие от существующих бенчмарков, сосредотачивающихся на визуальном качестве и текстовой связности созданных видео, ChronoMagic-Bench фокусируется на способности модели генерировать видео с значительной метаморфной амплитудой и временной согласованностью. Бенчмарк проверяет модели T2V на их физические, биологические и химические возможности с помощью свободного текстового запроса. Для этих целей ChronoMagic-Bench представляет 1 649 подсказок и реальных видео в качестве ссылок, разделенных на четыре основных типа видео с эффектом ускоренного воспроизведения: биологические, созданные человеком, метеорологические и физические явления, которые дополнительно разделены на 75 подкатегорий. Эта категоризация всесторонне оценивает способность модели обрабатывать разнообразные и сложные трансформации. Для точного соответствия человеческим предпочтениям с бенчмарком мы представляем две новые автоматические метрики, MTScore и CHScore, для оценки метаморфных характеристик видео и временной согласованности. MTScore измеряет метаморфную амплитуду, отражая степень изменений со временем, в то время как CHScore оценивает временную согласованность, обеспечивая логическое развитие и последовательность созданных видео. Основываясь на ChronoMagic-Bench, мы проводим всестороннюю ручную оценку десяти репрезентативных моделей T2V, раскрывая их сильные и слабые стороны в различных категориях подсказок и предоставляя тщательную систему оценки, которая устраняет текущие пробелы в исследованиях по генерации видео. Более того, мы создаем крупномасштабный набор данных ChronoMagic-Pro, содержащий 460 тыс. высококачественных пар видео с эффектом ускоренного воспроизведения 720p и подробных подписей, обеспечивающих высокую физическую соответственность и большую метаморфную амплитуду.

English

We propose a novel text-to-video (T2V) generation benchmark, ChronoMagic-Bench, to evaluate the temporal and metamorphic capabilities of the T2V models (e.g. Sora and Lumiere) in time-lapse video generation. In contrast to existing benchmarks that focus on the visual quality and textual relevance of generated videos, ChronoMagic-Bench focuses on the model's ability to generate time-lapse videos with significant metamorphic amplitude and temporal coherence. The benchmark probes T2V models for their physics, biology, and chemistry capabilities, in a free-form text query. For these purposes, ChronoMagic-Bench introduces 1,649 prompts and real-world videos as references, categorized into four major types of time-lapse videos: biological, human-created, meteorological, and physical phenomena, which are further divided into 75 subcategories. This categorization comprehensively evaluates the model's capacity to handle diverse and complex transformations. To accurately align human preference with the benchmark, we introduce two new automatic metrics, MTScore and CHScore, to evaluate the videos' metamorphic attributes and temporal coherence. MTScore measures the metamorphic amplitude, reflecting the degree of change over time, while CHScore assesses the temporal coherence, ensuring the generated videos maintain logical progression and continuity. Based on the ChronoMagic-Bench, we conduct comprehensive manual evaluations of ten representative T2V models, revealing their strengths and weaknesses across different categories of prompts, and providing a thorough evaluation framework that addresses current gaps in video generation research. Moreover, we create a large-scale ChronoMagic-Pro dataset, containing 460k high-quality pairs of 720p time-lapse videos and detailed captions ensuring high physical pertinence and large metamorphic amplitude.