MotiF : Faire compter le texte dans l'animation d'images avec la perte focale de mouvement

MotiF: Making Text Count in Image Animation with Motion Focal Loss

December 20, 2024

Auteurs: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin

cs.AI

Résumé

La génération Texte-Image-Vidéo (TIV) vise à générer une vidéo à partir d'une image en suivant une description textuelle, également appelée animation guidée par le texte. La plupart des méthodes existantes peinent à générer des vidéos bien alignées avec les indications textuelles, en particulier lorsque le mouvement est spécifié. Pour surmonter cette limitation, nous introduisons MotiF, une approche simple mais efficace qui guide l'apprentissage du modèle vers les régions avec plus de mouvement, améliorant ainsi l'alignement textuel et la génération de mouvement. Nous utilisons le flot optique pour générer une carte de chaleur de mouvement et pondérons la perte en fonction de l'intensité du mouvement. Cet objectif modifié entraîne des améliorations significatives et complète les méthodes existantes qui utilisent des préférences de mouvement en tant qu'entrées du modèle. De plus, en raison du manque d'un ensemble de référence diversifié pour évaluer la génération TIV, nous proposons TIV Bench, un ensemble de données composé de 320 paires image-texte pour une évaluation robuste. Nous présentons un protocole d'évaluation humaine demandant aux annotateurs de sélectionner une préférence globale entre deux vidéos, suivie de leurs justifications. À travers une évaluation complète sur TIV Bench, MotiF surpasse neuf modèles open source, atteignant une préférence moyenne de 72%. TIV Bench est publié sur https://wang-sj16.github.io/motif/.

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.