TC-Bench: Benchmarken van Temporele Compositionaliteit in Tekst-naar-Video en Afbeelding-naar-Video Generatie
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
June 12, 2024
Auteurs: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang
cs.AI
Samenvatting
Videogeneratie kent veel unieke uitdagingen die verder gaan dan die van beeldgeneratie.
De temporele dimensie introduceert uitgebreide mogelijke variaties tussen frames,
waarbij consistentie en continuïteit kunnen worden geschonden. In deze studie gaan we
verder dan het evalueren van eenvoudige acties en beargumenteren we dat gegenereerde video's
de opkomst van nieuwe concepten en hun relatieovergangen moeten omvatten, zoals
in echte video's naarmate de tijd vordert. Om de Temporele
Compositionaliteit van videogeneratiemodellen te beoordelen, stellen we TC-Bench voor, een benchmark
van zorgvuldig ontworpen tekstprompts, bijbehorende grondwaarheidvideo's en
robuuste evaluatiemetrics. De prompts articuleren de initiële en finale toestanden
van scènes, waardoor ambiguïteiten voor frameontwikkeling effectief worden verminderd en
de beoordeling van overgangsvoltooiing wordt vereenvoudigd. Daarnaast breiden we, door het verzamelen
van uitgelijnde real-world video's die overeenkomen met de prompts, de toepasbaarheid van TC-Bench uit
van tekst-conditionele modellen naar beeld-conditionele modellen die
generatieve frame-interpolatie kunnen uitvoeren. We ontwikkelen ook nieuwe metrics om de
volledigheid van componentovergangen in gegenereerde video's te meten, die
aanzienlijk hogere correlaties met menselijke oordelen vertonen dan
bestaande metrics. Onze uitgebreide experimentele resultaten onthullen dat de meeste videogeneratoren
minder dan 20% van de compositionele veranderingen bereiken, wat een enorme ruimte
voor toekomstige verbetering benadrukt. Onze analyse geeft aan dat huidige
videogeneratiemodellen moeite hebben met het interpreteren van beschrijvingen van compositionele
veranderingen en het synthetiseren van verschillende componenten over verschillende tijdstappen.
English
Video generation has many unique challenges beyond those of image generation.
The temporal dimension introduces extensive possible variations across frames,
over which consistency and continuity may be violated. In this study, we move
beyond evaluating simple actions and argue that generated videos should
incorporate the emergence of new concepts and their relation transitions like
in real-world videos as time progresses. To assess the Temporal
Compositionality of video generation models, we propose TC-Bench, a benchmark
of meticulously crafted text prompts, corresponding ground truth videos, and
robust evaluation metrics. The prompts articulate the initial and final states
of scenes, effectively reducing ambiguities for frame development and
simplifying the assessment of transition completion. In addition, by collecting
aligned real-world videos corresponding to the prompts, we expand TC-Bench's
applicability from text-conditional models to image-conditional ones that can
perform generative frame interpolation. We also develop new metrics to measure
the completeness of component transitions in generated videos, which
demonstrate significantly higher correlations with human judgments than
existing metrics. Our comprehensive experimental results reveal that most video
generators achieve less than 20% of the compositional changes, highlighting
enormous space for future improvement. Our analysis indicates that current
video generation models struggle to interpret descriptions of compositional
changes and synthesize various components across different time steps.