Cinemo: モーションディフュージョンモデルによる一貫性と制御性を備えた画像アニメーション

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

著者: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

要旨

拡散モデルは、その強力な生成能力により、画像アニメーションにおいて大きな進展を遂げてきました。しかし、入力された静止画像からの詳細な情報（例えば、スタイル、背景、オブジェクト）を時間経過に伴って時空間的に一貫して維持しつつ、テキストプロンプトに基づくアニメーションビデオのナラティブを滑らかにすることは、依然として課題となっています。本論文では、より優れたモーション制御性、およびより強い時間的一貫性と滑らかさを実現するための新しい画像アニメーション手法であるCinemoを紹介します。一般的に、Cinemoのトレーニングおよび推論段階において、目標を達成するための3つの効果的な戦略を提案します。トレーニング段階では、Cinemoはモーション拡散モデルを通じて直接次のフレームを予測するのではなく、モーション残差の分布を学習することに焦点を当てます。さらに、構造的類似性指標に基づく戦略を提案し、Cinemoがモーション強度をより良く制御できるようにします。推論段階では、離散コサイン変換に基づくノイズリファインメント技術を導入し、突然のモーション変化を軽減します。これら3つの戦略により、Cinemoは高度に一貫性があり、滑らかで、モーション制御可能な結果を生成することが可能となります。従来の手法と比較して、Cinemoはよりシンプルで正確なユーザー制御性を提供します。商用ツールや研究手法を含むいくつかの最先端手法に対する広範な実験を複数のメトリクスで行い、提案手法の有効性と優位性を実証しました。

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.