MoRight: Motion Control richtig gemacht
MoRight: Motion Control Done Right
April 8, 2026
Autoren: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao
cs.AI
Zusammenfassung
Die Erzeugung bewegungsgesteuerter Videos – bei denen benutzerdefinierte Aktionen physikalisch plausible Szenendynamiken unter frei wählbaren Kameraperspektiven antreiben – erfordert zwei Fähigkeiten: (1) entkoppelte Bewegungssteuerung, die es Nutzern ermöglicht, Objektbewegung und Kameraperspektive separat zu kontrollieren, und (2) Bewegungskausalität, die sicherstellt, dass benutzergesteuerte Aktionen kohärente Reaktionen anderer Objekte auslösen anstatt lediglich Pixel zu verschieben. Bestehende Methoden bleiben in beiden Punkten hinter den Anforderungen zurück: Sie verknüpfen Kamera- und Objektbewegung zu einem einzigen Verfolgungssignal und behandeln Bewegung als kinematische Verschiebung, ohne kausale Zusammenhänge zwischen Objektbewegungen zu modellieren. Wir stellen MoRight vor, ein einheitliches Framework, das beide Einschränkungen durch entkoppelte Bewegungsmodellierung adressiert. Die Objektbewegung wird in einer kanonischen Statikansicht spezifiziert und über temporalen cross-view Attention-Mechanismus auf eine beliebige Zielkameraperspektive übertragen, wodurch entkoppelte Kamera- und Objektkontrolle ermöglicht wird. Wir zerlegen Bewegung weiterhin in aktive (nutzergesteuerte) und passive (Folge-)Komponenten und trainieren das Modell, Bewegungskausalität aus Daten zu erlernen. Zur Inferenzzeit können Nutzer entweder aktive Bewegung vorgeben und MoRight sagt die Konsequenzen vorher (Vorwärtsreasoning), oder gewünschte passive Ergebnisse spezifizieren und MoRight ermittelt plausible antreibende Aktionen (inverses Reasoning), alles bei freier Anpassbarkeit der Kameraperspektive. Experimente auf drei Benchmarks demonstrieren state-of-the-art Leistung in Generierungsqualität, Bewegungskontrollierbarkeit und Interaktionsbewusstsein.
English
Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.