TC-Bench: Evaluación de la Composición Temporal en la Generación de Texto a Video e Imagen a Video

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

June 12, 2024

Autores: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

cs.AI

Resumen

La generación de videos presenta desafíos únicos que van más allá de los de la generación de imágenes. La dimensión temporal introduce una amplia gama de variaciones posibles entre los fotogramas, lo que puede llevar a la violación de la consistencia y la continuidad. En este estudio, avanzamos más allá de la evaluación de acciones simples y argumentamos que los videos generados deberían incorporar la aparición de nuevos conceptos y sus transiciones relacionales, como ocurre en los videos del mundo real a medida que avanza el tiempo. Para evaluar la Composición Temporal de los modelos de generación de videos, proponemos TC-Bench, un benchmark que incluye indicaciones de texto cuidadosamente elaboradas, videos de referencia correspondientes y métricas de evaluación robustas. Las indicaciones articulan los estados inicial y final de las escenas, reduciendo efectivamente las ambigüedades para el desarrollo de los fotogramas y simplificando la evaluación de la finalización de las transiciones. Además, al recopilar videos del mundo real alineados con las indicaciones, ampliamos la aplicabilidad de TC-Bench desde modelos condicionados por texto hasta aquellos condicionados por imágenes que pueden realizar interpolación generativa de fotogramas. También desarrollamos nuevas métricas para medir la completitud de las transiciones de componentes en los videos generados, las cuales demuestran correlaciones significativamente más altas con los juicios humanos que las métricas existentes. Nuestros resultados experimentales exhaustivos revelan que la mayoría de los generadores de videos logran menos del 20% de los cambios composicionales, destacando un enorme espacio para futuras mejoras. Nuestro análisis indica que los modelos actuales de generación de videos tienen dificultades para interpretar descripciones de cambios composicionales y sintetizar diversos componentes a lo largo de diferentes pasos de tiempo.

English

Video generation has many unique challenges beyond those of image generation. The temporal dimension introduces extensive possible variations across frames, over which consistency and continuity may be violated. In this study, we move beyond evaluating simple actions and argue that generated videos should incorporate the emergence of new concepts and their relation transitions like in real-world videos as time progresses. To assess the Temporal Compositionality of video generation models, we propose TC-Bench, a benchmark of meticulously crafted text prompts, corresponding ground truth videos, and robust evaluation metrics. The prompts articulate the initial and final states of scenes, effectively reducing ambiguities for frame development and simplifying the assessment of transition completion. In addition, by collecting aligned real-world videos corresponding to the prompts, we expand TC-Bench's applicability from text-conditional models to image-conditional ones that can perform generative frame interpolation. We also develop new metrics to measure the completeness of component transitions in generated videos, which demonstrate significantly higher correlations with human judgments than existing metrics. Our comprehensive experimental results reveal that most video generators achieve less than 20% of the compositional changes, highlighting enormous space for future improvement. Our analysis indicates that current video generation models struggle to interpret descriptions of compositional changes and synthesize various components across different time steps.