TC-Bench: Avaliando a Composicionalidade Temporal na Geração de Texto-para-Vídeo e Imagem-para-Vídeo

TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation

June 12, 2024

Autores: Weixi Feng, Jiachen Li, Michael Saxon, Tsu-jui Fu, Wenhu Chen, William Yang Wang

cs.AI

Resumo

A geração de vídeos apresenta desafios únicos que vão além da geração de imagens. A dimensão temporal introduz variações extensas entre os quadros, nas quais a consistência e a continuidade podem ser violadas. Neste estudo, vamos além da avaliação de ações simples e argumentamos que os vídeos gerados devem incorporar o surgimento de novos conceitos e suas transições de relação, como nos vídeos do mundo real, à medida que o tempo avança. Para avaliar a Composicionalidade Temporal dos modelos de geração de vídeos, propomos o TC-Bench, um benchmark de prompts de texto meticulosamente elaborados, vídeos de referência correspondentes e métricas de avaliação robustas. Os prompts articulam os estados inicial e final das cenas, reduzindo efetivamente as ambiguidades para o desenvolvimento dos quadros e simplificando a avaliação da conclusão das transições. Além disso, ao coletar vídeos do mundo real alinhados aos prompts, expandimos a aplicabilidade do TC-Bench de modelos condicionados por texto para aqueles condicionados por imagem, que podem realizar interpolação generativa de quadros. Também desenvolvemos novas métricas para medir a completude das transições de componentes nos vídeos gerados, que demonstram correlações significativamente mais altas com os julgamentos humanos do que as métricas existentes. Nossos resultados experimentais abrangentes revelam que a maioria dos geradores de vídeo alcança menos de 20% das mudanças composicionais, destacando um enorme espaço para melhorias futuras. Nossa análise indica que os modelos atuais de geração de vídeo têm dificuldade em interpretar descrições de mudanças composicionais e sintetizar vários componentes em diferentes etapas de tempo.

English

Video generation has many unique challenges beyond those of image generation. The temporal dimension introduces extensive possible variations across frames, over which consistency and continuity may be violated. In this study, we move beyond evaluating simple actions and argue that generated videos should incorporate the emergence of new concepts and their relation transitions like in real-world videos as time progresses. To assess the Temporal Compositionality of video generation models, we propose TC-Bench, a benchmark of meticulously crafted text prompts, corresponding ground truth videos, and robust evaluation metrics. The prompts articulate the initial and final states of scenes, effectively reducing ambiguities for frame development and simplifying the assessment of transition completion. In addition, by collecting aligned real-world videos corresponding to the prompts, we expand TC-Bench's applicability from text-conditional models to image-conditional ones that can perform generative frame interpolation. We also develop new metrics to measure the completeness of component transitions in generated videos, which demonstrate significantly higher correlations with human judgments than existing metrics. Our comprehensive experimental results reveal that most video generators achieve less than 20% of the compositional changes, highlighting enormous space for future improvement. Our analysis indicates that current video generation models struggle to interpret descriptions of compositional changes and synthesize various components across different time steps.