TrajectoryMover: 映像内オブジェクト軌道の生成的移動

TrajectoryMover: Generative Movement of Object Trajectories in Videos

March 31, 2026

著者: Kiran Chhatre, Hyeonho Jeong, Yulia Gryaditskaya, Christopher E. Peters, Chun-Hao Paul Huang, Paul Guerrero

cs.AI

要旨

生成的動画編集技術は、特に非専門家の編集者にとって、従来は実現が困難だった短い動画クリップに対する直感的な編集操作を可能にしてきました。既存の手法は、物体の3次元または2次元の運動軌道を指定すること、あるいは映像の自然さとアイデンティティを維持しながら物体やシーンの外観を変更することに焦点を当てています。しかし、物体の3次元運動軌道を映像内で移動させる（つまり、物体の相対的な3次元運動を保持しながら移動させる）手法は、現在も未だ存在しません。主な課題は、このシナリオに対応するペアとなる動画データを取得することにあります。従来の手法では、一般的に巧妙なデータ生成アプローチを用いて、ペアになっていない動画から妥当なペアデータを構築しますが、このアプローチは、ペアの一方の動画をもう一方から容易に生成できない場合には失敗します。これに対し、我々は大規模な合成ペア動画データのための新しいデータ生成パイプライン「TrajectoryAtlas」と、このデータでファインチューニングした動画生成器「TrajectoryMover」を提案します。これにより、物体軌道の生成的移動が可能になることを実証します。プロジェクトページ: https://chhatrekiran.github.io/trajectorymover

English

Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover