MotiF: Haciendo que el Texto Cuente en la Animación de Imágenes con Pérdida Focal de Movimiento

MotiF: Making Text Count in Image Animation with Motion Focal Loss

December 20, 2024

Autores: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin

cs.AI

Resumen

La generación de Video a partir de Texto-Imagen (TI2V) tiene como objetivo generar un video a partir de una imagen siguiendo una descripción de texto, también conocida como animación de imagen guiada por texto. La mayoría de los métodos existentes tienen dificultades para generar videos que se alineen bien con las indicaciones de texto, especialmente cuando se especifica movimiento. Para superar esta limitación, presentamos MotiF, un enfoque simple pero efectivo que dirige el aprendizaje del modelo hacia las regiones con más movimiento, mejorando así la alineación de texto y la generación de movimiento. Utilizamos flujo óptico para generar un mapa de calor de movimiento y ponderar la pérdida según la intensidad del movimiento. Este objetivo modificado conduce a mejoras notables y complementa los métodos existentes que utilizan prioridades de movimiento como entradas del modelo. Además, debido a la falta de un banco de pruebas diverso para evaluar la generación TI2V, proponemos TI2V Bench, un conjunto de datos que consta de 320 pares de imágenes y texto para una evaluación robusta. Presentamos un protocolo de evaluación humana que pide a los anotadores que seleccionen una preferencia general entre dos videos seguido de sus justificaciones. A través de una evaluación exhaustiva en TI2V Bench, MotiF supera a nueve modelos de código abierto, logrando una preferencia promedio del 72%. El banco de pruebas TI2V Bench se encuentra disponible en https://wang-sj16.github.io/motif/.

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.