MoRight: Controle de Movimento Feito da Maneira Correta
MoRight: Motion Control Done Right
April 8, 2026
Autores: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao
cs.AI
Resumo
A geração de vídeos controlados por movimento--nos quais ações especificadas pelo usuário orientam dinâmicas de cena fisicamente plausíveis sob pontos de vista livremente escolhidos--exige duas capacidades: (1) controle de movimento desacoplado, permitindo que os usuários controlem separadamente o movimento do objeto e ajustem o ponto de vista da câmera; e (2) causalidade do movimento, garantindo que ações dirigidas pelo usuário desencadeiem reações coerentes de outros objetos, em vez de meramente deslocar pixels. Os métodos existentes são deficientes em ambas as frentes: eles entrelaçam o movimento da câmera e do objeto num único sinal de rastreamento e tratam o movimento como um deslocamento cinemático sem modelar relações causais entre os movimentos dos objetos. Apresentamos o MoRight, uma estrutura unificada que aborda ambas as limitações através da modelagem desacoplada de movimento. O movimento do objeto é especificado numa vista estática canónica e transferido para um ponto de vista de câmera alvo arbitrário através de atenção temporal cruzada entre vistas, permitindo o controle desacoplado da câmera e do objeto. Decompomos ainda o movimento em componentes ativos (conduzidos pelo usuário) e passivos (consequência), treinando o modelo para aprender a causalidade do movimento a partir dos dados. Na inferência, os usuários podem fornecer movimento ativo e o MoRight prevê as consequências (raciocínio direto), ou especificar resultados passivos desejados e o MoRight recupera ações condutoras plausíveis (raciocínio inverso), tudo enquanto ajustam livremente o ponto de vista da câmera. Experimentos em três benchmarks demonstram desempenho state-of-the-art em qualidade de geração, controlabilidade do movimento e consciência da interação.
English
Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.