CCEdit: Modifica Video Creativa e Controllabile tramite Modelli di Diffusione

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

Autori: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

Abstract

In questo lavoro, presentiamo CCEdit, un framework versatile progettato per affrontare le sfide dell'editing video creativo e controllabile. CCEdit soddisfa un'ampia gamma di esigenze di editing degli utenti e consente un maggiore controllo creativo attraverso un approccio innovativo che separa la struttura e l'aspetto del video. Sfruttiamo l'architettura di base di ControlNet per preservare l'integrità strutturale, integrando in modo fluido moduli temporali adattabili compatibili con tecniche di personalizzazione all'avanguardia per la generazione di immagini da testo, come DreamBooth e LoRA. Inoltre, introduciamo l'editing video condizionato da riferimenti, consentendo agli utenti di esercitare un controllo creativo preciso sull'editing video attraverso il processo più gestibile di modifica dei fotogrammi chiave. Le nostre estese valutazioni sperimentali confermano l'eccezionale funzionalità e capacità di editing del framework CCEdit proposto. Il video dimostrativo è disponibile all'indirizzo https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.