МотиФ: Учет текста в анимации изображений с использованием потерь движения фокуса.

MotiF: Making Text Count in Image Animation with Motion Focal Loss

December 20, 2024

Авторы: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin

cs.AI

Аннотация

Генерация видео из изображения по тексту (TI2V) направлена на создание видео изображения по текстовому описанию, что также называется анимацией изображения по тексту. Большинство существующих методов испытывают трудности при создании видео, которые хорошо соответствуют текстовым подсказкам, особенно при указании движения. Чтобы преодолеть это ограничение, мы представляем MotiF, простой, но эффективный подход, который направляет обучение модели на области с более выраженным движением, тем самым улучшая соответствие текста и генерацию движения. Мы используем оптический поток для создания тепловой карты движения и взвешиваем потери в соответствии с интенсивностью движения. Эта модифицированная цель приводит к заметным улучшениям и дополняет существующие методы, использующие движущиеся априорные данные в качестве входных данных модели. Кроме того, из-за отсутствия разнообразного набора данных для оценки генерации TI2V, мы предлагаем TI2V Bench, набор данных, состоящий из 320 пар изображение-текст для надежной оценки. Мы представляем протокол оценки людей, который просит аннотаторов выбрать общее предпочтение между двумя видео, а затем обосновать свой выбор. После всесторонней оценки на TI2V Bench, MotiF превосходит девять моделей с открытым исходным кодом, достигая среднего предпочтения на уровне 72%. Набор данных TI2V Bench доступен по ссылке https://wang-sj16.github.io/motif/.

English

Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench is released in https://wang-sj16.github.io/motif/.