Cinemo: Согласованная и управляемая анимация изображений с моделями диффузии движения

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

Авторы: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

Аннотация

Модели диффузии достигли значительного прогресса в анимации изображений благодаря мощным генеративным возможностям. Однако поддержание пространственно-временной согласованности с детальной информацией из статического входного изображения со временем (например, стиль, фон и объект статического входного изображения) и обеспечение плавности в анимированных видеорассказах, направляемых текстовыми подсказками, по-прежнему остаются сложными задачами. В данной статье мы представляем Cinemo, новый подход к анимации изображений с целью достижения лучшей управляемости движения, а также более сильной временной согласованности и плавности. В общем, мы предлагаем три эффективные стратегии на этапах обучения и вывода Cinemo для достижения нашей цели. На этапе обучения Cinemo сосредотачивается на изучении распределения остатков движения, а не на прямом предсказании последующего с помощью модели диффузии движения. Кроме того, предлагается стратегия на основе индекса структурной схожести для обеспечения Cinemo лучшей управляемости интенсивностью движения. На этапе вывода вводится техника очистки шума на основе дискретного косинусного преобразования для смягчения резких изменений движения. Такие три стратегии позволяют Cinemo производить высококачественные, согласованные, плавные и управляемые результаты движения. По сравнению с предыдущими методами Cinemo предлагает более простую и точную управляемость пользователем. Обширные эксперименты с несколькими современными методами, включая как коммерческие инструменты, так и исследовательские подходы, по различным метрикам, демонстрируют эффективность и превосходство нашего предложенного подхода.

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.