TC-Bench: Benchmarking der zeitlichen Kompositionalität bei der Text-zu-Video- und Bild-zu-Video-Generierung

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

June 12, 2024

Autoren: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

cs.AI

Zusammenfassung

Die Videogenerierung birgt viele einzigartige Herausforderungen, die über die der Bildgenerierung hinausgehen. Die zeitliche Dimension führt zu umfangreichen möglichen Variationen zwischen den Frames, bei denen Konsistenz und Kontinuität verletzt werden können. In dieser Studie gehen wir über die Bewertung einfacher Aktionen hinaus und argumentieren, dass generierte Videos das Entstehen neuer Konzepte und deren Übergänge wie in realen Videos im Laufe der Zeit integrieren sollten. Zur Bewertung der zeitlichen Kompositionsstruktur von Videogenerierungsmodellen schlagen wir TC-Bench vor, einen Benchmark mit sorgfältig erstellten Textvorgaben, entsprechenden Ground-Truth-Videos und robusten Bewertungsmetriken. Die Vorgaben verdeutlichen die Anfangs- und Endzustände von Szenen und reduzieren so effektiv Unklarheiten für die Frame-Entwicklung und vereinfachen die Bewertung des Übergangsabschlusses. Darüber hinaus erweitern wir durch die Sammlung von realen Videos, die den Vorgaben entsprechen, die Anwendbarkeit von TC-Bench von textbedingten Modellen auf bildbedingte Modelle, die generative Frame-Interpolation durchführen können. Wir entwickeln auch neue Metriken zur Messung der Vollständigkeit von Komponentenübergängen in generierten Videos, die eine signifikant höhere Korrelation mit menschlichen Bewertungen aufweisen als bestehende Metriken. Unsere umfassenden experimentellen Ergebnisse zeigen, dass die meisten Videogeneratoren weniger als 20% der Kompositionsänderungen erreichen, was einen enormen Raum für zukünftige Verbesserungen aufzeigt. Unsere Analyse deutet darauf hin, dass aktuelle Videogenerierungsmodelle Schwierigkeiten haben, Beschreibungen von Kompositionsänderungen zu interpretieren und verschiedene Komponenten über verschiedene Zeitschritte hinweg zu synthetisieren.

English

Video generation has many unique challenges beyond those of image generation. The temporal dimension introduces extensive possible variations across frames, over which consistency and continuity may be violated. In this study, we move beyond evaluating simple actions and argue that generated videos should incorporate the emergence of new concepts and their relation transitions like in real-world videos as time progresses. To assess the Temporal Compositionality of video generation models, we propose TC-Bench, a benchmark of meticulously crafted text prompts, corresponding ground truth videos, and robust evaluation metrics. The prompts articulate the initial and final states of scenes, effectively reducing ambiguities for frame development and simplifying the assessment of transition completion. In addition, by collecting aligned real-world videos corresponding to the prompts, we expand TC-Bench's applicability from text-conditional models to image-conditional ones that can perform generative frame interpolation. We also develop new metrics to measure the completeness of component transitions in generated videos, which demonstrate significantly higher correlations with human judgments than existing metrics. Our comprehensive experimental results reveal that most video generators achieve less than 20% of the compositional changes, highlighting enormous space for future improvement. Our analysis indicates that current video generation models struggle to interpret descriptions of compositional changes and synthesize various components across different time steps.