AnyMoLe: Interpolazione del Movimento per Qualsiasi Personaggio Sfruttando Modelli di Diffusione Video
AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models
March 11, 2025
Autori: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh
cs.AI
Abstract
Nonostante i recenti progressi nell'interpolazione del movimento basata sull'apprendimento, una limitazione fondamentale è stata trascurata: la necessità di dataset specifici per ciascun personaggio. In questo lavoro, introduciamo AnyMoLe, un metodo innovativo che affronta questa limitazione sfruttando modelli di diffusione video per generare frame intermedi di movimento per personaggi arbitrari senza dati esterni. Il nostro approccio utilizza un processo di generazione dei frame in due fasi per migliorare la comprensione contestuale. Inoltre, per colmare il divario tra animazioni di personaggi del mondo reale e renderizzati, introduciamo ICAdapt, una tecnica di fine-tuning per modelli di diffusione video. Proponiamo inoltre una tecnica di ottimizzazione di "imitazione movimento-video", che consente una generazione fluida del movimento per personaggi con strutture articolari arbitrarie utilizzando caratteristiche 2D e 3D. AnyMoLe riduce significativamente la dipendenza dai dati mentre genera transizioni fluide e realistiche, rendendolo applicabile a un'ampia gamma di task di interpolazione del movimento.
English
Despite recent advancements in learning-based motion in-betweening, a key
limitation has been overlooked: the requirement for character-specific
datasets. In this work, we introduce AnyMoLe, a novel method that addresses
this limitation by leveraging video diffusion models to generate motion
in-between frames for arbitrary characters without external data. Our approach
employs a two-stage frame generation process to enhance contextual
understanding. Furthermore, to bridge the domain gap between real-world and
rendered character animations, we introduce ICAdapt, a fine-tuning technique
for video diffusion models. Additionally, we propose a ``motion-video
mimicking'' optimization technique, enabling seamless motion generation for
characters with arbitrary joint structures using 2D and 3D-aware features.
AnyMoLe significantly reduces data dependency while generating smooth and
realistic transitions, making it applicable to a wide range of motion
in-betweening tasks.