Bildleiter: Präzisionssteuerung für interaktive Videosynthese

Image Conductor: Precision Control for Interactive Video Synthesis

June 21, 2024

Autoren: Yaowei Li, Xintao Wang, Zhaoyang Zhang, Zhouxia Wang, Ziyang Yuan, Liangbin Xie, Yuexian Zou, Ying Shan

cs.AI

Zusammenfassung

Die Filmproduktion und Animationsproduktion erfordern oft ausgefeilte Techniken zur Koordination von Kamerawechseln und Objektbewegungen, die in der Regel eine arbeitsintensive Erfassung der realen Welt umfassen. Trotz Fortschritten in der generativen KI für die Videoproduktion bleibt es eine Herausforderung, eine präzise Steuerung der Bewegung für die Erzeugung interaktiver Videoinhalte zu erreichen. Zu diesem Zweck schlagen wir Image Conductor vor, eine Methode zur präzisen Steuerung von Kamerawechseln und Objektbewegungen zur Generierung von Videoinhalten aus einem einzigen Bild. Es wird eine gut durchdachte Schulungsstrategie vorgeschlagen, um unterschiedliche Kamera- und Objektbewegungen durch Kamera-LoRA-Gewichte und Objekt-LoRA-Gewichte zu trennen. Um zudem kinematografische Variationen von schlecht gestellten Trajektorien anzugehen, führen wir eine kamerafreie Anleitungstechnik während der Inferenz ein, die die Objektbewegungen verbessert und Kamerawechsel eliminiert. Darüber hinaus entwickeln wir eine auf Trajektorien ausgerichtete Videobewegungsdaten-Kuratierungspipeline für das Training. Quantitative und qualitative Experimente zeigen die Präzision und fein abgestimmte Steuerung unserer Methode bei der Erzeugung von bewegungskontrollierbaren Videos aus Bildern und fördern die praktische Anwendung der interaktiven Videosynthese. Projektwebseite verfügbar unter https://liyaowei-stu.github.io/project/ImageConductor/

English

Filmmaking and animation production often require sophisticated techniques for coordinating camera transitions and object movements, typically involving labor-intensive real-world capturing. Despite advancements in generative AI for video creation, achieving precise control over motion for interactive video asset generation remains challenging. To this end, we propose Image Conductor, a method for precise control of camera transitions and object movements to generate video assets from a single image. An well-cultivated training strategy is proposed to separate distinct camera and object motion by camera LoRA weights and object LoRA weights. To further address cinematographic variations from ill-posed trajectories, we introduce a camera-free guidance technique during inference, enhancing object movements while eliminating camera transitions. Additionally, we develop a trajectory-oriented video motion data curation pipeline for training. Quantitative and qualitative experiments demonstrate our method's precision and fine-grained control in generating motion-controllable videos from images, advancing the practical application of interactive video synthesis. Project webpage available at https://liyaowei-stu.github.io/project/ImageConductor/