MoRight: Правильное управление движением
MoRight: Motion Control Done Right
April 8, 2026
Авторы: Shaowei Liu, Xuanchi Ren, Tianchang Shen, Huan Ling, Saurabh Gupta, Shenlong Wang, Sanja Fidler, Jun Gao
cs.AI
Аннотация
Создание видео с управлением движением — где заданные пользователем действия управляют физически правдоподобной динамикой сцены с произвольно выбранных точек обзора — требует двух ключевых возможностей: (1) раздельного управления движением, позволяющего пользователям независимо управлять движением объекта и настраивать точку обзора камеры; и (2) причинности движения, гарантирующей, что действия пользователя вызывают согласованные реакции других объектов, а не просто смещают пиксели. Существующие методы не справляются с обеими задачами: они объединяют движение камеры и объекта в единый сигнал трекинга и трактуют движение как кинематическое смещение без моделирования причинно-следственных связей между движениями объектов. Мы представляем MoRight, унифицированную framework, которая решает обе проблемы за счет разделенного моделирования движения. Движение объекта задается в каноническом статическом виде и переносится на произвольную целевую точку обзора камеры с помощью временного кросс-вью внимания, что обеспечивает раздельное управление камерой и объектом. Мы также декомпозируем движение на активную (управляемую пользователем) и пассивную (следствие) компоненты, обучая модель извлекать причинность движения из данных. На этапе inference пользователи могут либо задать активное движение, и MoRight предскажет последствия (прямой вывод), либо указать желаемые пассивные результаты, и MoRight восстановит правдоподобные управляющие действия (обратный вывод), всё это при свободной настройке точки обзора камеры. Эксперименты на трех бенчмарках демонстрируют передовую производительность по качеству генерации, управляемости движением и осведомленности о взаимодействиях.
English
Generating motion-controlled videos--where user-specified actions drive physically plausible scene dynamics under freely chosen viewpoints--demands two capabilities: (1) disentangled motion control, allowing users to separately control the object motion and adjust camera viewpoint; and (2) motion causality, ensuring that user-driven actions trigger coherent reactions from other objects rather than merely displacing pixels. Existing methods fall short on both fronts: they entangle camera and object motion into a single tracking signal and treat motion as kinematic displacement without modeling causal relationships between object motion. We introduce MoRight, a unified framework that addresses both limitations through disentangled motion modeling. Object motion is specified in a canonical static-view and transferred to an arbitrary target camera viewpoint via temporal cross-view attention, enabling disentangled camera and object control. We further decompose motion into active (user-driven) and passive (consequence) components, training the model to learn motion causality from data. At inference, users can either supply active motion and MoRight predicts consequences (forward reasoning), or specify desired passive outcomes and MoRight recovers plausible driving actions (inverse reasoning), all while freely adjusting the camera viewpoint. Experiments on three benchmarks demonstrate state-of-the-art performance in generation quality, motion controllability, and interaction awareness.