TrajectoryMover: Movimentação Generativa de Trajetórias de Objetos em Vídeos
TrajectoryMover: Generative Movement of Object Trajectories in Videos
March 31, 2026
Autores: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero
cs.AI
Resumo
A edição generativa de vídeo permitiu várias operações de edição intuitivas para clipes de vídeo curtos que anteriormente seriam difíceis de alcançar, especialmente para editores não especializados. Os métodos existentes concentram-se em prescrever a trajetória de movimento 3D ou 2D de um objeto num vídeo, ou em alterar a aparência de um objeto ou de uma cena, preservando tanto a plausibilidade do vídeo como a sua identidade. No entanto, ainda falta um método para mover a trajetória de movimento 3D de um objeto num vídeo, ou seja, mover um objeto preservando o seu movimento 3D relativo. O principal desafio reside na obtenção de dados de vídeo emparelhados para este cenário. Métodos anteriores geralmente dependem de abordagens inteligentes de geração de dados para construir dados emparelhados plausíveis a partir de vídeos não emparelhados, mas esta abordagem falha se um dos vídeos de um par não puder ser facilmente construído a partir do outro. Em vez disso, introduzimos o TrajectoryAtlas, um novo *pipeline* de geração de dados para dados de vídeo sintéticos emparelhados em larga escala e um gerador de vídeo, o TrajectoryMover, afinado com estes dados. Mostramos que isto permite com sucesso o movimento generativo de trajetórias de objetos. Página do projeto: https://chhatrekiran.github.io/trajectorymover
English
Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover