MotiF: Textzählung in der Bildanimation mit Motion Focal Loss

MotiF: Making Text Count in Image Animation with Motion Focal Loss

December 20, 2024

Autoren: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin

cs.AI

Zusammenfassung

Die Generierung von Text-Bild-zu-Video (TI2V) zielt darauf ab, ein Video aus einem Bild gemäß einer Textbeschreibung zu generieren, was auch als textgesteuerte Bildanimation bezeichnet wird. Die meisten bestehenden Methoden haben Schwierigkeiten, Videos zu generieren, die gut mit den Textvorgaben übereinstimmen, insbesondere wenn Bewegungen spezifiziert sind. Um diese Einschränkung zu überwinden, stellen wir MotiF vor, einen einfachen, aber effektiven Ansatz, der das Lernen des Modells auf die Regionen mit mehr Bewegung lenkt und somit die Textausrichtung und Bewegungsgenerierung verbessert. Wir verwenden optischen Fluss, um eine Bewegungswärmebildkarte zu generieren und den Verlust entsprechend der Intensität der Bewegung zu gewichten. Dieses modifizierte Ziel führt zu spürbaren Verbesserungen und ergänzt bestehende Methoden, die Bewegungsprioritäten als Modellinputs nutzen. Zusätzlich schlagen wir aufgrund des Mangels an einem vielfältigen Benchmark zur Bewertung der TI2V-Generierung TI2V Bench vor, ein Datensatz bestehend aus 320 Bild-Text-Paaren für eine robuste Bewertung. Wir präsentieren ein menschliches Bewertungsprotokoll, das die Annotatoren bittet, eine Gesamtpräferenz zwischen zwei Videos auszuwählen, gefolgt von ihren Begründungen. Durch eine umfassende Bewertung auf TI2V Bench übertrifft MotiF neun Open-Source-Modelle und erzielt eine durchschnittliche Präferenz von 72%. Der TI2V Bench ist unter https://wang-sj16.github.io/motif/ verfügbar.

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.