Motion4Motion: 추론 시 대상 간 모션 전이

초록

본 연구는 서로 다른 비디오 간의 모션 전이(motion transfer)를 탐구하며, 이는 다양한 캐릭터를 다루는 애니메이션에서 매우 중요한 요소이다. 이전까지 비디오 모션 전이는 주로 인간과 인간형 캐릭터 사이에서 연구되어 디지털 창작 분야에서 많은 응용 가능성을 열어주었다. 그러나 이러한 접근법에는 주요한 한계가 존재한다. 구체적으로, 관련 기술적 파이프라인은 사전 정의된 인간 골격 구조(human skeleton structure)에 크게 의존하며, 이에 따라 골격 조건부 모델 훈련(skeleton-conditional model training)이 필요하다. 한편으로, 이러한 방법들은 다양한 캐릭터, 예를 들어 서로 다른 종의 동물들에 대해 그들의 고유한 모션 스타일을 유지하면서 일반화하기 어렵다. 다른 한편으로, 다양한 골격에 대한 레이블 데이터(label data)가 제한적이어서, 이 과제를 위한 대규모 훈련이 추가적으로 제약된다. 본 논문에서는 골격 기반 모션 전이 프레임워크에서 벗어나, 훈련이 필요 없는 모션 전이 프레임워크인 Motion4Motion을 제안한다. Motion4Motion은 비디오 내 캐릭터의 모션 흐름(motion flow)을 골격 대신 모델링하므로, 종 간 모션 전이를 더욱 용이하게 만든다. 광범위한 실험 결과와 새로운 응용 사례들은 본 방법이 기준 모델(baseline)들을 현저히 능가함을 보여준다. 프로젝트 페이지는 https://lhchen.top/Motion4Motion 에서 확인할 수 있다.

English

This work explores the motion transfer from one video to another, which is crucial in animation for diverse characters. Previously, video motion transfer has been largely explored between human and human-like characters, enabling a lot of applications in digital creation. However, these approaches encounter a main limitation. Specifically, related technical pipelines heavily rely on a predefined human skeleton structure and accordingly require skeleton-conditional model training. On the one hand, these methods are difficult to generalize to diverse characters, such as animals from different species, while preserving their unique motion styles. On the other hand, labeled data in diverse skeletons is limited, which additionally restricts the large-scale training for the task. In this paper, we jump out of the skeleton-based motion transfer framework and propose a training-free motion transfer framework, named Motion4Motion. Motion4Motionmodels the motion flow of the character in a video instead of skeletons, which makes motion transfer across species easier. Extensive experimental results and novel applications show our methods outperform baselines impressively. Project page is available at https://lhchen.top/Motion4Motion.