AnyMoLe: Karakterbeweging Tussenin Genereren met Video Diffusiemodellen

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

March 11, 2025

Auteurs: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

cs.AI

Samenvatting

Ondanks recente vooruitgang in op leren gebaseerde bewegingstussenvoeging, is een belangrijke beperking over het hoofd gezien: de vereiste voor karakter-specifieke datasets. In dit werk introduceren we AnyMoLe, een nieuwe methode die deze beperking aanpakt door gebruik te maken van videodiffusiemodellen om bewegings-tussenframes te genereren voor willekeurige karakters zonder externe data. Onze aanpak hanteert een tweestaps frame-generatieproces om het contextuele begrip te verbeteren. Bovendien introduceren we ICAdapt, een fine-tuningtechniek voor videodiffusiemodellen, om de domeinkloof tussen real-world en gerenderde karakteranimaties te overbruggen. Daarnaast stellen we een "bewegings-video nabootsing" optimalisatietechniek voor, die naadloze bewegingsgeneratie mogelijk maakt voor karakters met willekeurige gewrichtsstructuren door gebruik te maken van 2D- en 3D-bewuste kenmerken. AnyMoLe vermindert de data-afhankelijkheid aanzienlijk terwijl het vloeiende en realistische overgangen genereert, waardoor het toepasbaar is op een breed scala aan bewegingstussenvoegingstaken.

English

Despite recent advancements in learning-based motion in-betweening, a key limitation has been overlooked: the requirement for character-specific datasets. In this work, we introduce AnyMoLe, a novel method that addresses this limitation by leveraging video diffusion models to generate motion in-between frames for arbitrary characters without external data. Our approach employs a two-stage frame generation process to enhance contextual understanding. Furthermore, to bridge the domain gap between real-world and rendered character animations, we introduce ICAdapt, a fine-tuning technique for video diffusion models. Additionally, we propose a ``motion-video mimicking'' optimization technique, enabling seamless motion generation for characters with arbitrary joint structures using 2D and 3D-aware features. AnyMoLe significantly reduces data dependency while generating smooth and realistic transitions, making it applicable to a wide range of motion in-betweening tasks.