CCEdit: Kreative und kontrollierbare Videobearbeitung mittels Diffusionsmodellen

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

papers.authors: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

papers.abstract

In dieser Arbeit präsentieren wir CCEdit, ein vielseitiges Framework, das entwickelt wurde, um die Herausforderungen des kreativen und kontrollierbaren Videoediting zu bewältigen. CCEdit berücksichtigt ein breites Spektrum an Benutzeranforderungen und ermöglicht eine verbesserte kreative Kontrolle durch einen innovativen Ansatz, der die Video-Struktur und das Erscheinungsbild entkoppelt. Wir nutzen die grundlegende ControlNet-Architektur, um die strukturelle Integrität zu bewahren, während wir gleichzeitig anpassungsfähige temporale Module nahtlos integrieren, die mit modernsten Personalisierungstechniken für die Text-zu-Bild-Generierung, wie DreamBooth und LoRA, kompatibel sind. Darüber hinaus führen wir referenzbasiertes Videoediting ein, das Benutzern ermöglicht, präzise kreative Kontrolle über das Videoediting durch den besser handhabbaren Prozess des Editierens von Schlüsselbildern auszuüben. Unsere umfangreichen experimentellen Auswertungen bestätigen die außergewöhnliche Funktionalität und die Bearbeitungsfähigkeiten des vorgeschlagenen CCEdit-Frameworks. Ein Demovideo ist verfügbar unter https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.