MoRight: Bewegingsbesturing Goed Gedaan
MoRight: Motion Control Done Right
April 8, 2026
Auteurs: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao
cs.AI
Samenvatting
Het genereren van beweging-gestuurde video's - waarbij door gebruikers gespecificeerde acties fysiek plausibele scènedynamiek sturen onder vrij gekozen cameraperspectieven - vereist twee capaciteiten: (1) ontvlochten bewegingcontrole, waardoor gebruikers afzonderlijk de objectbeweging kunnen aansturen en het camerapunt kunnen aanpassen; en (2) bewegingcausaliteit, die ervoor zorgt dat door gebruikers gestuurde acties coherente reacties van andere objecten veroorzaken in plaats van slechts pixels te verplaatsen. Bestaande methoden schieten tekort op beide fronten: zij verstrengelen camera- en objectbeweging tot één volgsignaal en behandelen beweging als kinematische verplaatsing zonder causale relaties tussen objectbeweging te modelleren. Wij introduceren MoRight, een uniform raamwerk dat beide beperkingen aanpakt via ontvlochten bewegingmodellering. Objectbeweging wordt gespecificeerd in een canoniek statisch perspectief en overgebracht naar een willekeurig doel-camerapunt via temporele cross-view aandacht, waardoor ontvlochten camera- en objectcontrole mogelijk wordt. Wij ontbinden beweging verder in actieve (door gebruikers gestuurde) en passieve (gevolg) componenten, waarbij we het model trainen om bewegingcausaliteit uit data te leren. Tijdens inferentie kunnen gebruikers ofwel actieve beweging aanleveren en MoRight voorspelt de gevolgen (voorwaarts redeneren), of gewenste passieve uitkomsten specificeren en MoRight herstelt plausibele sturende acties (invers redeneren), allemaal terwijl vrij het camerapunt wordt aangepast. Experimenten op drie benchmarks tonen state-of-the-art prestaties in generatiekwaliteit, bewegingbestuurbaarheid en interactiebewustzijn.
English
Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.