Cinemo: Konsistente und steuerbare Bildanimation mit Bewegungsdiffusionsmodellen

Cinemo: Consistent and Controllable Image Animation with Motion Diffusion Models

July 22, 2024

Autoren: Xin Ma, Yaohui Wang, Gengyu Jia, Xinyuan Chen, Yuan-Fang Li, Cunjian Chen, Yu Qiao

cs.AI

Zusammenfassung

Diffusionsmodelle haben aufgrund ihrer leistungsstarken generativen Fähigkeiten große Fortschritte in der Bildanimation erzielt. Die Aufrechterhaltung der räumlich-zeitlichen Konsistenz mit detaillierten Informationen aus dem statischen Eingangsbild im Laufe der Zeit (z. B. Stil, Hintergrund und Objekt des statischen Eingangsbildes) und die Gewährleistung von Geschmeidigkeit in animierten Videogeschichten, die von Textvorgaben geleitet werden, bleiben jedoch nach wie vor herausfordernd. In diesem Papier stellen wir Cinemo vor, einen neuartigen Ansatz zur Bildanimation, um eine bessere Bewegungssteuerbarkeit sowie eine stärkere zeitliche Konsistenz und Geschmeidigkeit zu erreichen. Im Allgemeinen schlagen wir drei effektive Strategien in den Trainings- und Inferenzphasen von Cinemo vor, um unser Ziel zu erreichen. In der Trainingsphase konzentriert sich Cinemo darauf, die Verteilung von Bewegungsresten zu erlernen, anstatt direkt die nachfolgende Bewegung über ein Bewegungsdiffusionsmodell vorherzusagen. Darüber hinaus wird eine Strategie auf Basis des strukturellen Ähnlichkeitsindex vorgeschlagen, um Cinemo eine bessere Steuerbarkeit der Bewegungsintensität zu ermöglichen. In der Inferenzphase wird eine Rauschverfeinerungstechnik auf Basis der diskreten Kosinustransformation eingeführt, um plötzliche Bewegungsänderungen zu mildern. Diese drei Strategien ermöglichen es Cinemo, äußerst konsistente, geschmeidige und steuerbare Ergebnisse zu erzielen. Im Vergleich zu früheren Methoden bietet Cinemo eine einfachere und präzisere Benutzersteuerbarkeit. Umfangreiche Experimente gegen mehrere State-of-the-Art-Methoden, einschließlich kommerzieller Tools und Forschungsansätze, über mehrere Metriken hinweg, zeigen die Wirksamkeit und Überlegenheit unseres vorgeschlagenen Ansatzes.

English

Diffusion models have achieved great progress in image animation due to powerful generative capabilities. However, maintaining spatio-temporal consistency with detailed information from the input static image over time (e.g., style, background, and object of the input static image) and ensuring smoothness in animated video narratives guided by textual prompts still remains challenging. In this paper, we introduce Cinemo, a novel image animation approach towards achieving better motion controllability, as well as stronger temporal consistency and smoothness. In general, we propose three effective strategies at the training and inference stages of Cinemo to accomplish our goal. At the training stage, Cinemo focuses on learning the distribution of motion residuals, rather than directly predicting subsequent via a motion diffusion model. Additionally, a structural similarity index-based strategy is proposed to enable Cinemo to have better controllability of motion intensity. At the inference stage, a noise refinement technique based on discrete cosine transformation is introduced to mitigate sudden motion changes. Such three strategies enable Cinemo to produce highly consistent, smooth, and motion-controllable results. Compared to previous methods, Cinemo offers simpler and more precise user controllability. Extensive experiments against several state-of-the-art methods, including both commercial tools and research approaches, across multiple metrics, demonstrate the effectiveness and superiority of our proposed approach.