Cinemo: Consistente en beheersbare beeldanimatie met bewegingsdiffusiemodellen

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

Auteurs: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

Samenvatting

Diffusiemodellen hebben grote vooruitgang geboekt in beeldanimatie dankzij hun krachtige generatieve mogelijkheden. Het blijft echter een uitdaging om ruimtelijk-temporele consistentie te behouden met gedetailleerde informatie uit de statische invoerafbeelding over tijd (bijv. stijl, achtergrond en object van de statische invoerafbeelding) en om vloeiendheid in geanimeerde videonarratieven te waarborgen die worden gestuurd door tekstuele prompts. In dit artikel introduceren we Cinemo, een nieuwe benadering voor beeldanimatie die gericht is op het bereiken van betere bewegingsbestuurbaarheid, evenals sterkere temporele consistentie en vloeiendheid. Over het algemeen stellen we drie effectieve strategieën voor tijdens de trainings- en inferentiefasen van Cinemo om ons doel te bereiken. Tijdens de trainingsfase richt Cinemo zich op het leren van de verdeling van bewegingsresiduen, in plaats van direct opvolgende frames te voorspellen via een bewegingsdiffusiemodel. Daarnaast wordt een strategie gebaseerd op de structurele gelijkenisindex voorgesteld om Cinemo betere bestuurbaarheid van bewegingsintensiteit te bieden. Tijdens de inferentiefase wordt een ruisverfijningstechniek geïntroduceerd die gebaseerd is op discrete cosinustransformatie om plotselinge bewegingsveranderingen te verminderen. Deze drie strategieën stellen Cinemo in staat om zeer consistente, vloeiende en bewegingsbestuurbare resultaten te produceren. In vergelijking met eerdere methoden biedt Cinemo eenvoudigere en preciezere gebruikersbestuurbaarheid. Uitgebreide experimenten tegen verschillende state-of-the-art methoden, waaronder zowel commerciële tools als onderzoeksbenaderingen, over meerdere metrieken, demonstreren de effectiviteit en superioriteit van onze voorgestelde benadering.

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.