이미지 컨덕터: 인터랙티브 비디오 합성을 위한 정밀 제어

Image Conductor: Precision Control for Interactive Video Synthesis

June 21, 2024

저자: Yaowei Li, Xintao Wang, Zhaoyang Zhang, Zhouxia Wang, Ziyang Yuan, Liangbin Xie, Yuexian Zou, Ying Shan

cs.AI

초록

영화 제작과 애니메이션 제작은 종종 카메라 전환과 객체 움직임을 조율하기 위해 정교한 기술을 필요로 하며, 일반적으로 실세계에서 많은 노동력이 요구되는 촬영 과정을 포함합니다. 비디오 생성 분야에서 생성형 AI의 발전이 이루어졌음에도 불구하고, 인터랙티브 비디오 자산 생성을 위한 정밀한 모션 제어는 여전히 어려운 과제로 남아 있습니다. 이를 위해 우리는 단일 이미지에서 비디오 자산을 생성하기 위해 카메라 전환과 객체 움직임을 정밀하게 제어하는 방법인 Image Conductor를 제안합니다. 잘 설계된 훈련 전략을 통해 카메라 LoRA 가중치와 객체 LoRA 가중치를 사용하여 별도의 카메라 및 객체 움직임을 분리합니다. 또한, 잘못된 궤적에서 발생하는 시네마토그래피적 변동을 해결하기 위해 추론 과정에서 카메라 없는 가이던스 기법을 도입하여 카메라 전환을 제거하면서 객체 움직임을 강화합니다. 더불어, 훈련을 위한 궤적 지향 비디오 모션 데이터 큐레이션 파이프라인을 개발했습니다. 양적 및 질적 실험을 통해 우리의 방법이 이미지에서 모션 제어 가능한 비디오를 생성하는 데 있어 정밀성과 세밀한 제어를 제공함을 입증하며, 인터랙티브 비디오 합성의 실용적 응용을 발전시킵니다. 프로젝트 웹페이지는 https://liyaowei-stu.github.io/project/ImageConductor/에서 확인할 수 있습니다.

English

Filmmaking and animation production often require sophisticated techniques for coordinating camera transitions and object movements, typically involving labor-intensive real-world capturing. Despite advancements in generative AI for video creation, achieving precise control over motion for interactive video asset generation remains challenging. To this end, we propose Image Conductor, a method for precise control of camera transitions and object movements to generate video assets from a single image. An well-cultivated training strategy is proposed to separate distinct camera and object motion by camera LoRA weights and object LoRA weights. To further address cinematographic variations from ill-posed trajectories, we introduce a camera-free guidance technique during inference, enhancing object movements while eliminating camera transitions. Additionally, we develop a trajectory-oriented video motion data curation pipeline for training. Quantitative and qualitative experiments demonstrate our method's precision and fine-grained control in generating motion-controllable videos from images, advancing the practical application of interactive video synthesis. Project webpage available at https://liyaowei-stu.github.io/project/ImageConductor/