Cinemo: Animação de Imagem Consistente e Controlável com Modelos de Difusão de Movimento

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

Autores: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

Resumo

Os modelos de difusão têm alcançado grande progresso na animação de imagens devido às poderosas capacidades generativas. No entanto, manter consistência espaço-temporal com informações detalhadas da imagem estática de entrada ao longo do tempo (por exemplo, estilo, fundo e objeto da imagem estática de entrada) e garantir suavidade em narrativas de vídeo animado guiadas por prompts textuais ainda é desafiador. Neste artigo, apresentamos o Cinemo, uma abordagem inovadora de animação de imagens para alcançar uma melhor controlabilidade de movimento, bem como uma maior consistência temporal e suavidade. Em geral, propomos três estratégias eficazes nas etapas de treinamento e inferência do Cinemo para alcançar nosso objetivo. Na etapa de treinamento, o Cinemo foca em aprender a distribuição de resíduos de movimento, em vez de prever diretamente o subsequente via um modelo de difusão de movimento. Adicionalmente, uma estratégia baseada no índice de similaridade estrutural é proposta para permitir que o Cinemo tenha uma melhor controlabilidade da intensidade do movimento. Na etapa de inferência, uma técnica de refinamento de ruído baseada na transformação discreta de cosseno é introduzida para mitigar mudanças bruscas de movimento. Essas três estratégias permitem que o Cinemo produza resultados altamente consistentes, suaves e controláveis em termos de movimento. Em comparação com métodos anteriores, o Cinemo oferece uma controlabilidade do usuário mais simples e precisa. Experimentos extensivos contra vários métodos de ponta, incluindo ferramentas comerciais e abordagens de pesquisa, em várias métricas, demonstram a eficácia e superioridade de nossa abordagem proposta.

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.