MoRight: Control de Movimiento Hecho Correctamente
MoRight: Motion Control Done Right
April 8, 2026
Autores: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao
cs.AI
Resumen
La generación de vídeos controlados por movimiento--donde las acciones especificadas por el usuario impulsan dinámicas de escena físicamente plausibles desde puntos de vista libremente elegidos--requiere dos capacidades: (1) control de movimiento desacoplado, que permite a los usuarios controlar por separado el movimiento del objeto y ajustar el punto de vista de la cámara; y (2) causalidad del movimiento, garantizando que las acciones impulsadas por el usuario desencadenen reacciones coherentes en otros objetos en lugar de simplemente desplazar píxeles. Los métodos existentes son deficientes en ambos frentes: entrelazan el movimiento de la cámara y del objeto en una única señal de seguimiento y tratan el movimiento como un desplazamiento cinemático sin modelar las relaciones causales entre los movimientos de los objetos. Presentamos MoRight, un framework unificado que aborda ambas limitaciones mediante el modelado desacoplado del movimiento. El movimiento del objeto se especifica en una vista estática canónica y se transfiere a un punto de vista de cámara objetivo arbitrario mediante atención temporal cruzada entre vistas, permitiendo un control desacoplado de cámara y objeto. Además, descomponemos el movimiento en componentes activo (impulsado por el usuario) y pasivo (consecuencia), entrenando el modelo para aprender la causalidad del movimiento a partir de los datos. Durante la inferencia, los usuarios pueden proporcionar movimiento activo y MoRight predice las consecuencias (razonamiento directo), o especificar resultados pasivos deseados y MoRight recupera las acciones impulsoras plausibles (razonamiento inverso), todo ello mientras ajustan libremente el punto de vista de la cámara. Los experimentos en tres benchmarks demuestran un rendimiento state-of-the-art en calidad de generación, capacidad de control del movimiento y conciencia de la interacción.
English
Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.