**MoRight: 올바른 모션 컨트롤**

초록

동작 제어 영상 생성(사용자가 지정한 동작이 자유로운 시점에서 물리적으로 타당한 장면 역학을 구동하는 기술)은 두 가지 능력을 요구합니다: (1) 분리된 동작 제어로, 사용자가 객체 동작과 카메라 시점을 별도로 제어할 수 있어야 하며, (2) 동작 인과성으로, 사용자가 구동한 동작이 단순히 픽셀을 이동시키는 것이 아니라 다른 객체들로부터 일관된 반응을 유발해야 합니다. 기존 방법론들은 두 측면 모두에서 한계를 보입니다: 카메라와 객체 동작을 단일 추적 신호로 뒤섞으며, 객체 동작 간의 인과 관계를 모델링하지 않고 동작을 운동학적 변위로 취급합니다. 본 논문에서는 분리된 동작 모델링을 통해 이러한 한계를 해결하는 통합 프레임워크인 MoRight를 소개합니다. 객체 동작은 정적 표준 시점에서 지정되고, 시간적 교차 시점 어텐션을 통해 임의의 목표 카메라 시점으로 전이되어 카메라와 객체 제어를 분리합니다. 우리는 더 나아가 동작을 능동적(사용자 구동) 및 수동적(결과) 구성 요소로 분해하여 모델이 데이터로부터 동작 인과성을 학습하도록 훈련합니다. 추론 단계에서 사용자는 능동적 동작을 제공하면 MoRight가 결과를 예측(순방향 추론)하거나, 원하는 수동적 결과를 지정하면 MoRight가 타당한 구동 동작을 복원(역방향 추론)할 수 있으며, 모든 과정에서 카메라 시점을 자유롭게 조정할 수 있습니다. 3가지 벤치마크에 대한 실험 결과, 생성 품질, 동작 제어 성능, 상호작용 인식 측면에서 최첨단 성능을 입증했습니다.

English

Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.

MoRight: 올바른 모션 컨트롤

MoRight: Motion Control Done Right

초록

Support