AnyMoLe: 비디오 확산 모델을 활용한 임의 캐릭터 모션 중간 생성

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

March 11, 2025

저자: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

cs.AI

초록

학습 기반 모션 인비트윈(motion in-betweening) 기술의 최근 발전에도 불구하고, 한 가지 주요한 제한 사항이 간과되어 왔습니다: 캐릭터 특정 데이터셋의 필요성입니다. 본 연구에서는 이러한 한계를 해결하기 위해 비디오 확산 모델(video diffusion model)을 활용하여 외부 데이터 없이도 임의의 캐릭터에 대한 모션 인비트윈 프레임을 생성하는 새로운 방법인 AnyMoLe를 소개합니다. 우리의 접근 방식은 문맥 이해를 강화하기 위해 두 단계의 프레임 생성 프로세스를 사용합니다. 더 나아가, 실제 세계와 렌더링된 캐릭터 애니메이션 간의 도메인 격차를 해소하기 위해 비디오 확산 모델을 미세 조정하는 ICAdapt 기술을 도입했습니다. 또한, 2D 및 3D 인식 기능을 사용하여 임의의 관절 구조를 가진 캐릭터에 대해 원활한 모션 생성을 가능하게 하는 "모션-비디오 모방(motion-video mimicking)" 최적화 기술을 제안합니다. AnyMoLe는 데이터 의존성을 크게 줄이면서도 부드럽고 현실적인 전환을 생성하여 다양한 모션 인비트윈 작업에 적용 가능하게 합니다.

English

Despite recent advancements in learning-based motion in-betweening, a key limitation has been overlooked: the requirement for character-specific datasets. In this work, we introduce AnyMoLe, a novel method that addresses this limitation by leveraging video diffusion models to generate motion in-between frames for arbitrary characters without external data. Our approach employs a two-stage frame generation process to enhance contextual understanding. Furthermore, to bridge the domain gap between real-world and rendered character animations, we introduce ICAdapt, a fine-tuning technique for video diffusion models. Additionally, we propose a ``motion-video mimicking'' optimization technique, enabling seamless motion generation for characters with arbitrary joint structures using 2D and 3D-aware features. AnyMoLe significantly reduces data dependency while generating smooth and realistic transitions, making it applicable to a wide range of motion in-betweening tasks.