TC-Bench: Benchmark della Composizionalità Temporale nella Generazione da Testo a Video e da Immagine a Video

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

June 12, 2024

Autori: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

cs.AI

Abstract

La generazione di video presenta sfide uniche che vanno oltre quelle della generazione di immagini. La dimensione temporale introduce ampie variazioni possibili tra i fotogrammi, rispetto alle quali coerenza e continuità possono essere violate. In questo studio, andiamo oltre la valutazione di azioni semplici e sosteniamo che i video generati dovrebbero incorporare l'emergere di nuovi concetti e le loro transizioni relazionali, come avviene nei video del mondo reale con il passare del tempo. Per valutare la Composizionalità Temporale dei modelli di generazione video, proponiamo TC-Bench, un benchmark composto da prompt testuali accuratamente elaborati, video di riferimento corrispondenti e metriche di valutazione robuste. I prompt articolano gli stati iniziali e finali delle scene, riducendo efficacemente le ambiguità nello sviluppo dei fotogrammi e semplificando la valutazione del completamento delle transizioni. Inoltre, raccogliendo video del mondo reale allineati ai prompt, estendiamo l'applicabilità di TC-Bench dai modelli condizionati al testo a quelli condizionati all'immagine, che possono eseguire interpolazione generativa di fotogrammi. Sviluppiamo anche nuove metriche per misurare la completezza delle transizioni dei componenti nei video generati, che dimostrano correlazioni significativamente più elevate con i giudizi umani rispetto alle metriche esistenti. I nostri risultati sperimentali completi rivelano che la maggior parte dei generatori di video raggiunge meno del 20% dei cambiamenti composizionali, evidenziando un enorme spazio per miglioramenti futuri. La nostra analisi indica che i modelli attuali di generazione video faticano a interpretare le descrizioni dei cambiamenti composizionali e a sintetizzare vari componenti attraverso diversi passaggi temporali.

English

Video generation has many unique challenges beyond those of image generation. The temporal dimension introduces extensive possible variations across frames, over which consistency and continuity may be violated. In this study, we move beyond evaluating simple actions and argue that generated videos should incorporate the emergence of new concepts and their relation transitions like in real-world videos as time progresses. To assess the Temporal Compositionality of video generation models, we propose TC-Bench, a benchmark of meticulously crafted text prompts, corresponding ground truth videos, and robust evaluation metrics. The prompts articulate the initial and final states of scenes, effectively reducing ambiguities for frame development and simplifying the assessment of transition completion. In addition, by collecting aligned real-world videos corresponding to the prompts, we expand TC-Bench's applicability from text-conditional models to image-conditional ones that can perform generative frame interpolation. We also develop new metrics to measure the completeness of component transitions in generated videos, which demonstrate significantly higher correlations with human judgments than existing metrics. Our comprehensive experimental results reveal that most video generators achieve less than 20% of the compositional changes, highlighting enormous space for future improvement. Our analysis indicates that current video generation models struggle to interpret descriptions of compositional changes and synthesize various components across different time steps.