TrajectoryMover: Movimiento Generativo de Trayectorias de Objetos en Videos
TrajectoryMover: Generative Movement of Object Trajectories in Videos
March 31, 2026
Autores: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero
cs.AI
Resumen
La edición generativa de vídeo ha permitido varias operaciones de edición intuitivas para clips de vídeo cortos que antes habrían sido difíciles de lograr, especialmente para editores no expertos. Los métodos existentes se centran en prescribir la trayectoria de movimiento 3D o 2D de un objeto en un vídeo, o en alterar la apariencia de un objeto o una escena, preservando tanto la plausibilidad del vídeo como la identidad. Sin embargo, aún falta un método para mover la trayectoria de movimiento 3D de un objeto en un vídeo, es decir, mover un objeto preservando su movimiento relativo en 3D. El principal desafío reside en obtener datos de vídeo emparejados para este escenario. Los métodos anteriores suelen depender de enfoques inteligentes de generación de datos para construir datos emparejados plausibles a partir de vídeos no emparejados, pero este enfoque falla si uno de los vídeos de un par no puede construirse fácilmente a partir del otro. En su lugar, presentamos TrajectoryAtlas, un nuevo pipeline de generación de datos para datos de vídeo sintéticos emparejados a gran escala y un generador de vídeo, TrajectoryMover, ajustado con estos datos. Demostramos que esto permite con éxito el movimiento generativo de trayectorias de objetos. Página del proyecto: https://chhatrekiran.github.io/trajectorymover
English
Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover