TrajectoryMover: 비디오 내 객체 궤적의 생성적 이동

초록

생성적 비디오 편집 기술은 특히 비전문 편집자들에게 이전에는 달성하기 어려웠던 짧은 동영상 클립에 대한 여러 직관적인 편집 작업을 가능하게 했습니다. 기존 방법들은 비디오의 사실성과 정체성을 모두 유지하면서 객체의 3D 또는 2D 운동 궤적을 지정하거나 객체나 장면의 외관을 변경하는 데 중점을 두었습니다. 그러나 비디오에서 객체의 3D 운동 궤적을 이동시키는, 즉 객체의 상대적 3D 운동을 보존하면서 객체를 이동하는 방법은 현재까지 여전히 부재합니다. 주요 과제는 이러한 시나리오에 대한 paired 비디오 데이터를 획득하는 데 있습니다. 기존 방법들은 일반적으로 paired되지 않은 비디오들로부터 plausible한 paired 데이터를 구성하기 위한 영리한 데이터 생성 방법론에 의존해 왔지만, 이 접근법은 한 쌍의 비디오 중 하나가 다른 것으로부터 쉽게 구성될 수 없는 경우 실패합니다. 이에 대안으로 우리는 대규모 합성 paired 비디오 데이터를 위한 새로운 데이터 생성 파이프라인인 TrajectoryAtlas와 이 데이터로 미세 조정된 비디오 생성기 TrajectoryMover를 소개합니다. 우리는 이 방법이 객체 궤적의 생성적 이동을 성공적으로 가능하게 함을 보여줍니다. 프로젝트 페이지: https://chhatrekiran.github.io/trajectorymover

English

Generative video editing has enabled several intuitive editing operations for short video clips that would previously have been difficult to achieve, especially for non-expert editors. Existing methods focus on prescribing an object's 3D or 2D motion trajectory in a video, or on altering the appearance of an object or a scene, while preserving both the video's plausibility and identity. Yet a method to move an object's 3D motion trajectory in a video, i.e., moving an object while preserving its relative 3D motion, is currently still missing. The main challenge lies in obtaining paired video data for this scenario. Previous methods typically rely on clever data generation approaches to construct plausible paired data from unpaired videos, but this approach fails if one of the videos in a pair can not easily be constructed from the other. Instead, we introduce TrajectoryAtlas, a new data generation pipeline for large-scale synthetic paired video data and a video generator TrajectoryMover fine-tuned with this data. We show that this successfully enables generative movement of object trajectories. Project page: https://chhatrekiran.github.io/trajectorymover

TrajectoryMover: 비디오 내 객체 궤적의 생성적 이동

TrajectoryMover: Generative Movement of Object Trajectories in Videos

초록

Support