TrajectoryMover: Генеративное преобразование траекторий объектов в видео

TrajectoryMover: Generative Movement of Object Trajectories in Videos

March 31, 2026

Авторы: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero

cs.AI

Аннотация

Генеративное редактирование видео позволило реализовать несколько интуитивных операций для коротких видеоклипов, которые ранее было сложно выполнить, особенно для неопытных редакторов. Существующие методы сосредоточены на задании 3D или 2D траектории движения объекта в видео или на изменении внешнего вида объекта или сцены, сохраняя при этом правдоподобие и идентичность видео. Однако метод для изменения 3D траектории движения объекта в видео, то есть для перемещения объекта с сохранением его относительного 3D движения, в настоящее время все еще отсутствует. Основная сложность заключается в получении парных видеоданных для такого сценария. Предыдущие методы обычно полагаются на изощренные подходы к генерации данных для создания правдоподобных парных данных из непарных видео, но этот подход не работает, если одно из видео в паре не может быть легко получено из другого. Вместо этого мы представляем TrajectoryAtlas — новый конвейер генерации данных для масштабируемых синтетических парных видеоданных и генератор видео TrajectoryMover, дообученный на этих данных. Мы показываем, что это успешно позволяет генерировать перемещение траекторий объектов. Страница проекта: https://chhatrekiran.github.io/trajectorymover

English

Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover