TrajectoryMover: Generative Bewegung von Objekttrajektorien in Videos
TrajectoryMover: Generative Movement of Object Trajectories in Videos
March 31, 2026
Autoren: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero
cs.AI
Zusammenfassung
Generative Videobearbeitung hat mehrere intuitive Bearbeitungsoperationen für kurze Videoclips ermöglicht, die zuvor schwer zu realisieren waren, insbesondere für nicht-experimentierte Editoren. Bestehende Methoden konzentrieren sich darauf, die 3D- oder 2D-Bewegungstrajektorie eines Objekts in einem Video vorzugeben oder das Erscheinungsbild eines Objekts oder einer Szene zu verändern, wobei sowohl die Plausibilität als auch die Identität des Videos erhalten bleiben. Dennoch fehlt derzeit eine Methode, um die 3D-Bewegungstrajektorie eines Objekts in einem Video zu verschieben, d.h. ein Objekt unter Beibehaltung seiner relativen 3D-Bewegung zu bewegen. Die Hauptherausforderung liegt in der Beschaffung gepaarter Videodaten für dieses Szenario. Bisherige Methoden stützen sich typischerweise auf ausgeklügelte Datengenerierungsansätze, um plausible gepaarte Daten aus ungepaarten Videos zu konstruieren. Dieser Ansatz versagt jedoch, wenn eines der Videos in einem Paar nicht einfach aus dem anderen konstruiert werden kann. Stattdessen führen wir TrajectoryAtlas ein, eine neue Datengenerierungspipeline für groß angelegte synthetische gepaarte Videodaten, sowie einen Videogenerator TrajectoryMover, der mit diesen Daten feinabgestimmt wird. Wir zeigen, dass dies erfolgreich die generative Bewegung von Objekttrajektorien ermöglicht. Projektseite: https://chhatrekiran.github.io/trajectorymover
English
Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover