TC-Bench : Évaluation de la compositionnalité temporelle dans la génération texte-à-vidéo et image-à-vidéo

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

June 12, 2024

Auteurs: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

cs.AI

Résumé

La génération de vidéos présente de nombreux défis uniques au-delà de ceux de la génération d'images. La dimension temporelle introduit des variations potentielles étendues entre les images, ce qui peut entraîner des incohérences et des ruptures de continuité. Dans cette étude, nous allons au-delà de l'évaluation d'actions simples et soutenons que les vidéos générées devraient intégrer l'émergence de nouveaux concepts ainsi que les transitions de leurs relations, comme dans les vidéos du monde réel au fil du temps. Pour évaluer la Compositionnalité Temporelle des modèles de génération de vidéos, nous proposons TC-Bench, un benchmark composé de prompts textuels soigneusement conçus, de vidéos de référence correspondantes et de métriques d'évaluation robustes. Les prompts articulent les états initial et final des scènes, réduisant ainsi les ambiguïtés pour le développement des images et simplifiant l'évaluation de la complétion des transitions. De plus, en collectant des vidéos du monde réel alignées avec les prompts, nous étendons l'applicabilité de TC-Bench des modèles conditionnés par le texte à ceux conditionnés par l'image, capables d'effectuer une interpolation générative d'images. Nous développons également de nouvelles métriques pour mesurer l'exhaustivité des transitions des composants dans les vidéos générées, qui démontrent des corrélations significativement plus élevées avec les jugements humains que les métriques existantes. Nos résultats expérimentaux complets révèlent que la plupart des générateurs de vidéos atteignent moins de 20 % des changements compositionnels, soulignant un énorme potentiel d'amélioration future. Notre analyse indique que les modèles actuels de génération de vidéos peinent à interpréter les descriptions de changements compositionnels et à synthétiser divers composants à travers différentes étapes temporelles.

English

Video generation has many unique challenges beyond those of image generation. The temporal dimension introduces extensive possible variations across frames, over which consistency and continuity may be violated. In this study, we move beyond evaluating simple actions and argue that generated videos should incorporate the emergence of new concepts and their relation transitions like in real-world videos as time progresses. To assess the Temporal Compositionality of video generation models, we propose TC-Bench, a benchmark of meticulously crafted text prompts, corresponding ground truth videos, and robust evaluation metrics. The prompts articulate the initial and final states of scenes, effectively reducing ambiguities for frame development and simplifying the assessment of transition completion. In addition, by collecting aligned real-world videos corresponding to the prompts, we expand TC-Bench's applicability from text-conditional models to image-conditional ones that can perform generative frame interpolation. We also develop new metrics to measure the completeness of component transitions in generated videos, which demonstrate significantly higher correlations with human judgments than existing metrics. Our comprehensive experimental results reveal that most video generators achieve less than 20% of the compositional changes, highlighting enormous space for future improvement. Our analysis indicates that current video generation models struggle to interpret descriptions of compositional changes and synthesize various components across different time steps.