예제 기반 모션 합성을 위한 생성적 모션 매칭

초록

우리는 단일 또는 소수의 예제 시퀀스로부터 가능한 한 다양한 모션을 "채굴"하는 생성 모델인 GenMM을 소개합니다. 기존의 데이터 기반 방법들과는 극명한 대조를 이루며, 이러한 방법들은 일반적으로 긴 오프라인 학습 시간이 필요하고, 시각적 아티팩트가 발생하기 쉬우며, 크고 복잡한 스켈레톤에서 실패하는 경향이 있습니다. 반면 GenMM은 잘 알려진 Motion Matching 방법의 학습 불필요성과 우수한 품질을 계승합니다. GenMM은 매우 복잡하고 큰 스켈레톤 구조에서도 고품질의 모션을 단 몇 초 만에 합성할 수 있습니다. 우리의 생성 프레임워크의 핵심에는 생성적 모션 매칭 모듈이 있으며, 이 모듈은 양방향 시각적 유사성을 생성 비용 함수로 활용하여 모션 매칭을 수행하고, 다단계 프레임워크 내에서 예제 모션 매칭을 통해 무작위 추측을 점진적으로 개선합니다. 다양한 모션 생성 외에도, 우리는 모션 완성, 키 프레임 기반 생성, 무한 루핑, 모션 재조립 등 모션 매칭만으로는 불가능한 여러 시나리오로 프레임워크를 확장하여 그 다양성을 보여줍니다. 본 논문의 코드와 데이터는 https://wyysf-98.github.io/GenMM/에서 확인할 수 있습니다.

English

We present GenMM, a generative model that "mines" as many diverse motions as possible from a single or few example sequences. In stark contrast to existing data-driven methods, which typically require long offline training time, are prone to visual artifacts, and tend to fail on large and complex skeletons, GenMM inherits the training-free nature and the superior quality of the well-known Motion Matching method. GenMM can synthesize a high-quality motion within a fraction of a second, even with highly complex and large skeletal structures. At the heart of our generative framework lies the generative motion matching module, which utilizes the bidirectional visual similarity as a generative cost function to motion matching, and operates in a multi-stage framework to progressively refine a random guess using exemplar motion matches. In addition to diverse motion generation, we show the versatility of our generative framework by extending it to a number of scenarios that are not possible with motion matching alone, including motion completion, key frame-guided generation, infinite looping, and motion reassembly. Code and data for this paper are at https://wyysf-98.github.io/GenMM/

예제 기반 모션 합성을 위한 생성적 모션 매칭

Example-based Motion Synthesis via Generative Motion Matching

초록

Support