ATI: 제어 가능한 비디오 생성을 위한 임의 궤적 지시

ATI: Any Trajectory Instruction for Controllable Video Generation

May 28, 2025

저자: Angtian Wang, Haibin Huang, Jacob Zhiyuan Fang, Yiding Yang, Chongyang Ma

cs.AI

초록

우리는 궤적 기반 입력을 사용하여 카메라 이동, 객체 수준의 이동, 그리고 세밀한 지역적 움직임을 원활하게 통합한 비디오 생성에서의 모션 제어를 위한 통합 프레임워크를 제안한다. 이러한 모션 유형을 별도의 모듈이나 작업별 설계를 통해 처리하는 기존 방법들과 달리, 우리의 접근 방식은 사용자 정의 궤적을 경량 모션 주입기를 통해 사전 훈련된 이미지-투-비디오 생성 모델의 잠재 공간에 투영함으로써 일관된 해결책을 제공한다. 사용자는 키포인트와 그들의 이동 경로를 지정하여 지역적 변형, 전체 객체 이동, 가상 카메라 역학, 또는 이들의 조합을 제어할 수 있다. 주입된 궤적 신호는 생성 과정을 안내하여 시간적으로 일관되고 의미론적으로 정렬된 모션 시퀀스를 생성한다. 우리의 프레임워크는 스타일화된 모션 효과(예: 모션 브러시), 동적 시점 변화, 정밀한 지역적 모션 조작을 포함한 다양한 비디오 모션 제어 작업에서 우수한 성능을 보여준다. 실험 결과, 우리의 방법은 기존 접근법 및 상용 솔루션에 비해 훨씬 더 나은 제어 가능성과 시각적 품질을 제공하면서도 다양한 최신 비디오 생성 백본과 광범위하게 호환된다. 프로젝트 페이지: https://anytraj.github.io/.

English

We propose a unified framework for motion control in video generation that seamlessly integrates camera movement, object-level translation, and fine-grained local motion using trajectory-based inputs. In contrast to prior methods that address these motion types through separate modules or task-specific designs, our approach offers a cohesive solution by projecting user-defined trajectories into the latent space of pre-trained image-to-video generation models via a lightweight motion injector. Users can specify keypoints and their motion paths to control localized deformations, entire object motion, virtual camera dynamics, or combinations of these. The injected trajectory signals guide the generative process to produce temporally consistent and semantically aligned motion sequences. Our framework demonstrates superior performance across multiple video motion control tasks, including stylized motion effects (e.g., motion brushes), dynamic viewpoint changes, and precise local motion manipulation. Experiments show that our method provides significantly better controllability and visual quality compared to prior approaches and commercial solutions, while remaining broadly compatible with various state-of-the-art video generation backbones. Project page: https://anytraj.github.io/.