MotiF: Tekst laten meetellen in beeldanimatie met Motion Focal Loss

MotiF: Making Text Count in Image Animation with Motion Focal Loss

December 20, 2024

Auteurs: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin

cs.AI

Samenvatting

Text-Image-to-Video (TI2V) generatie heeft als doel een video te genereren vanuit een afbeelding aan de hand van een tekstbeschrijving, wat ook wel tekstgestuurde afbeeldingsanimatie wordt genoemd. De meeste bestaande methoden hebben moeite met het genereren van video's die goed aansluiten bij de tekstuele aanwijzingen, vooral wanneer beweging wordt gespecificeerd. Om deze beperking te overwinnen, introduceren we MotiF, een eenvoudige maar effectieve aanpak die het leren van het model richt op de gebieden met meer beweging, waardoor de tekstuitlijning en bewegingsgeneratie worden verbeterd. We gebruiken optische stroming om een bewegingswarmtekaart te genereren en wegen het verlies volgens de intensiteit van de beweging. Dit aangepaste doel leidt tot merkbare verbeteringen en vult bestaande methoden aan die bewegingsprioriteiten gebruiken als modelinvoer. Daarnaast, vanwege het gebrek aan een divers benchmark voor het evalueren van TI2V-generatie, stellen we TI2V Bench voor, een dataset bestaande uit 320 afbeelding-tekst paren voor een robuuste evaluatie. We presenteren een menselijke evaluatieprotocol waarbij de annotatoren wordt gevraagd een algemene voorkeur tussen twee video's te selecteren, gevolgd door hun rechtvaardigingen. Door een uitgebreide evaluatie op TI2V Bench presteert MotiF beter dan negen open-source modellen, met een gemiddelde voorkeur van 72%. De TI2V Bench is beschikbaar op https://wang-sj16.github.io/motif/.

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.