TrajectoryMover: Generatieve Beweging van Objecttrajecten in Video's
TrajectoryMover: Generative Movement of Object Trajectories in Videos
March 31, 2026
Auteurs: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero
cs.AI
Samenvatting
Generatieve videobewerking heeft verschillende intuïtieve bewerkingen voor korte videoclips mogelijk gemaakt die voorheen moeilijk te realiseren waren, vooral voor niet-deskundige editors. Bestaande methodes richten zich op het voorschrijven van de 3D- of 2D-bewegingstrajectorie van een object in een video, of op het veranderen van het uiterlijk van een object of scène, waarbij zowel de geloofwaardigheid als de identiteit van de video behouden blijven. Een methode om het 3D-bewegingstrajectorie van een object in een video te verplaatsen – dat wil zeggen, een object verplaatsen terwijl de relatieve 3D-beweging behouden blijft – ontbreekt echter nog steeds. De grootste uitdaging ligt in het verkrijgen van gepaarde videogegevens voor dit scenario. Eerdere methodes baseren zich doorgaans op slimme datageneratiebenaderingen om geloofwaardige gepaarde gegevens uit ongepaarde video's te construeren, maar deze aanpak faalt wanneer een van de video's in een paar niet eenvoudig uit de andere kan worden geconstrueerd. In plaats daarvan introduceren wij TrajectoryAtlas, een nieuwe pijplijn voor datageneratie voor grootschalige synthetische gepaarde videogegevens, en een videogenerator TrajectoryMover die met deze gegevens is afgestemd. Wij tonen aan dat dit generatieve verplaatsing van objecttrajectorieën succesvol mogelijk maakt. Projectpagina: https://chhatrekiran.github.io/trajectorymover
English
Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover