TrajectoryMover : Mouvement génératif de trajectoires d'objets dans les vidéos
TrajectoryMover: Generative Movement of Object Trajectories in Videos
March 31, 2026
Auteurs: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero
cs.AI
Résumé
L'édition vidéo générative a permis plusieurs opérations d'édition intuitives pour de courts clips vidéo qui auraient été difficiles à réaliser auparavant, en particulier pour les monteurs non experts. Les méthodes existantes se concentrent sur la prescription de la trajectoire de mouvement 3D ou 2D d'un objet dans une vidéo, ou sur la modification de l'apparence d'un objet ou d'une scène, tout en préservant la plausibilité et l'identité de la vidéo. Pourtant, une méthode pour déplacer la trajectoire de mouvement 3D d'un objet dans une vidéo, c'est-à-dire déplacer un objet tout en préservant son mouvement 3D relatif, manque encore actuellement. Le principal défi réside dans l'obtention de données vidéo appariées pour ce scénario. Les méthodes précédentes reposent généralement sur des approches intelligentes de génération de données pour construire des données appariées plausibles à partir de vidéos non appariées, mais cette approche échoue si l'une des vidéos d'une paire ne peut pas être facilement construite à partir de l'autre. À la place, nous présentons TrajectoryAtlas, un nouveau pipeline de génération de données pour des données vidéo synthétiques appariées à grande échelle et un générateur de vidéos TrajectoryMover affiné avec ces données. Nous montrons que cela permet avec succès le mouvement génératif des trajectoires d'objets. Page du projet : https://chhatrekiran.github.io/trajectorymover
English
Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover