Cinemo: Animazione Immagine Consistente e Controllabile con Modelli di Diffusione del Movimento

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

Autori: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

Abstract

I modelli di diffusione hanno ottenuto notevoli progressi nell'animazione di immagini grazie alle loro potenti capacità generative. Tuttavia, mantenere la coerenza spazio-temporale con le informazioni dettagliate dell'immagine statica di input nel tempo (ad esempio, stile, sfondo e oggetto dell'immagine statica di input) e garantire fluidità nelle narrazioni video animate guidate da prompt testuali rimane ancora una sfida. In questo articolo, introduciamo Cinemo, un nuovo approccio all'animazione di immagini volto a ottenere una migliore controllabilità del movimento, nonché una maggiore coerenza temporale e fluidità. In generale, proponiamo tre strategie efficaci nelle fasi di addestramento e inferenza di Cinemo per raggiungere il nostro obiettivo. Nella fase di addestramento, Cinemo si concentra sull'apprendimento della distribuzione dei residui di movimento, piuttosto che prevedere direttamente i successivi tramite un modello di diffusione del movimento. Inoltre, viene proposta una strategia basata sull'indice di similarità strutturale per consentire a Cinemo di avere una migliore controllabilità dell'intensità del movimento. Nella fase di inferenza, viene introdotta una tecnica di raffinamento del rumore basata sulla trasformazione discreta del coseno per mitigare i cambiamenti improvvisi del movimento. Queste tre strategie consentono a Cinemo di produrre risultati altamente coerenti, fluidi e controllabili nel movimento. Rispetto ai metodi precedenti, Cinemo offre una controllabilità utente più semplice e precisa. Esperimenti estesi confrontati con diversi metodi all'avanguardia, inclusi sia strumenti commerciali che approcci di ricerca, su più metriche, dimostrano l'efficacia e la superiorità del nostro approccio proposto.

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.