MoRight: モーション制御の理想的な実現

MoRight: Motion Control Done Right

April 8, 2026

著者: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao

cs.AI

要旨

モーション制御動画の生成――ユーザー指定のアクションによって物理的に妥当なシーン動態を自由視点で駆動する技術――には、二つの能力が求められる：(1) 物体の動きとカメラ視点を個別に制御可能な、分離されたモーション制御。(2) ユーザー駆動のアクションが単なるピクセルの変位ではなく、他の物体からの一貫した反応を引き起こす、モーションの因果性。既存手法は両面で不十分である：それらはカメラと物体の動きを単一の追跡信号に混在させ、物体間の因果関係をモデル化せずに動きを運動学的変位として扱う。我々は、分離されたモーションモデリングを通じてこれらの限界を同時に解決する統一フレームワーク「MoRight」を提案する。物体の動きは正準静止視点で指定され、時間的クロスビューアテンションを介して任意の目標カメラ視点に転送されることで、カメラと物体の分離制御を実現する。さらに、動きを能動的（ユーザー駆動）成分と受動的（結果）成分に分解し、モデルがデータからモーションの因果性を学習するように訓練する。推論時、ユーザーは能動的動きを指定してMoRightが結果を予測（順方向推論）するか、あるいは望ましい受動的結果を指定してMoRightが妥当な駆動アクションを復元（逆方向推論）することができ、その間も自由にカメラ視点を調整できる。3つのベンチマークによる実験は、生成品質、モーション制御性、相互作用認識性において最先端の性能を示している。

English

Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.