형태 너머의 모션: 추상적 모션 표현을 활용한 교차 카테고리 모션 전이 부트스트래핑

초록

비디오 모션 전이는 참조 비디오의 다이내믹스를 사용하여 대상 객체를 애니메이션화하는 것을 목표로 한다. 기존의 공식화 방식은 대부분 고정된 구조적 대응에 의존하는데, 이는 참조 객체와 대상 객체가 형태, 관절 구조, 또는 변형 메커니즘에서 크게 다를 경우 제대로 정의되지 않는다. 우리는 형태를 넘어선 모션(Motion Beyond Morphology)을 소개한다. 이는 고정된 구조적 대응을 넘어 모션을 전이하려는 관점으로, 서로 다른 대상 형태 간에도 의미 있는 다이내믹스를 보존하는 데 초점을 둔다. 이를 실현하기 위해 우리는 두 단계 프레임워크를 제안한다. 1단계에서는 상호 보완적인 다중 세분화 추상 모션 뷰를 학습하고, 이를 사용하여 다양한 형태에서 전이 가능한 다이내믹스를 보존하는 교차 범주 비디오 쌍을 부트스트래핑한다. 2단계에서는 이러한 지도 신호를 직접적인 참조 비디오 조건 생성에 내재화하여, 추론 시 명시적 모션 추출이 필요하지 않게 한다. 또한 우리는 동일(Same), 근접(Near), 원거리(Far) 범주 격차에 걸친 이미지 및 텍스트 조건 모션 전이를 훈련하고 평가하기 위한 OpenVMT-Dataset과 OpenVMT-Bench를 도입하며, 두 자료 모두 논문 게재 후 공개할 예정이다. 광범위한 실험을 통해 최첨단 수준의 모션 충실도와 대상 보존 성능을 입증한다. 프로젝트 페이지: https://miniz233.github.io/MotionBeyondMorphology/

English

Video motion transfer aims to animate a target object using dynamics from a reference video. Existing formulations largely rely on fixed structural correspondence, which becomes ill-defined when reference and target objects differ substantially in morphology, articulation, or deformation mechanisms. We introduce Motion Beyond Morphology, a perspective that seeks to transfer motion beyond fixed structural correspondence, by preserving dynamics that remain meaningful across different target morphologies. To realize this, we propose a two-stage framework. Stage~I learns complementary multi-granularity abstract motion views and uses them to bootstrap cross-category video pairs that preserve transferable dynamics across diverse morphologies. Stage~II internalizes this supervision into direct reference-video-conditioned generation, removing the need for explicit motion extraction at inference. We further introduce OpenVMT-Dataset and OpenVMT-Bench for training and evaluating image- and text-conditioned motion transfer across Same, Near, and Far category gaps, and plan to release both upon acceptance. Extensive experiments demonstrate state-of-the-art motion fidelity and target preservation. Project page: https://miniz233.github.io/MotionBeyondMorphology/