AnyMoLe: Charakteranimation durch Interpolation mittels Video-Diffusionsmodellen

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

March 11, 2025

Autoren: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

cs.AI

Zusammenfassung

Trotz jüngster Fortschritte beim lernbasierten Motion In-Betweening wurde eine zentrale Einschränkung übersehen: die Notwendigkeit von charakter-spezifischen Datensätzen. In dieser Arbeit stellen wir AnyMoLe vor, eine neuartige Methode, die diese Einschränkung adressiert, indem sie Video-Diffusionsmodelle nutzt, um Bewegungs-Zwischenframes für beliebige Charaktere ohne externe Daten zu generieren. Unser Ansatz verwendet einen zweistufigen Frame-Generierungsprozess, um das kontextuelle Verständnis zu verbessern. Darüber hinaus führen wir ICAdapt ein, eine Feinabstimmungstechnik für Video-Diffusionsmodelle, um die Domänenlücke zwischen realen und gerenderten Charakteranimationen zu überbrücken. Zusätzlich schlagen wir eine „Motion-Video-Nachahmungs“-Optimierungstechnik vor, die nahtlose Bewegungsgenerierung für Charaktere mit beliebigen Gelenkstrukturen unter Verwendung von 2D- und 3D-bewussten Merkmalen ermöglicht. AnyMoLe reduziert die Datenabhängigkeit erheblich und erzeugt gleichzeitig flüssige und realistische Übergänge, wodurch es für eine Vielzahl von Motion-In-Betweening-Aufgaben anwendbar ist.

English

Despite recent advancements in learning-based motion in-betweening, a key limitation has been overlooked: the requirement for character-specific datasets. In this work, we introduce AnyMoLe, a novel method that addresses this limitation by leveraging video diffusion models to generate motion in-between frames for arbitrary characters without external data. Our approach employs a two-stage frame generation process to enhance contextual understanding. Furthermore, to bridge the domain gap between real-world and rendered character animations, we introduce ICAdapt, a fine-tuning technique for video diffusion models. Additionally, we propose a ``motion-video mimicking'' optimization technique, enabling seamless motion generation for characters with arbitrary joint structures using 2D and 3D-aware features. AnyMoLe significantly reduces data dependency while generating smooth and realistic transitions, making it applicable to a wide range of motion in-betweening tasks.