CCEdit : Édition vidéo créative et contrôlable via des modèles de diffusion

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

papers.authors: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

papers.abstract

Dans ce travail, nous présentons CCEdit, un cadre polyvalent conçu pour relever les défis de l'édition vidéo créative et contrôlable. CCEdit répond à un large éventail de besoins d'édition des utilisateurs et permet un contrôle créatif accru grâce à une approche innovante qui découple la structure et l'apparence de la vidéo. Nous exploitons l'architecture fondamentale de ControlNet pour préserver l'intégrité structurelle, tout en intégrant de manière transparente des modules temporels adaptables compatibles avec les techniques de personnalisation de pointe pour la génération d'images à partir de texte, telles que DreamBooth et LoRA. De plus, nous introduisons l'édition vidéo conditionnée par référence, permettant aux utilisateurs d'exercer un contrôle créatif précis sur l'édition vidéo grâce au processus plus gérable de l'édition d'images clés. Nos évaluations expérimentales approfondies confirment la fonctionnalité exceptionnelle et les capacités d'édition du cadre CCEdit proposé. Une vidéo de démonstration est disponible à l'adresse suivante : https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.