CCEdit: Edición de video creativa y controlable mediante modelos de difusión

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

Autores: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

Resumen

En este trabajo, presentamos CCEdit, un marco versátil diseñado para abordar los desafíos de la edición de videos creativa y controlable. CCEdit acomoda un amplio espectro de requisitos de edición por parte del usuario y permite un mayor control creativo mediante un enfoque innovador que desacopla la estructura y la apariencia del video. Aprovechamos la arquitectura fundamental de ControlNet para preservar la integridad estructural, mientras integramos de manera fluida módulos temporales adaptables compatibles con técnicas de personalización de última generación para la generación de texto a imagen, como DreamBooth y LoRA. Además, introducimos la edición de video condicionada por referencia, capacitando a los usuarios para ejercer un control creativo preciso sobre la edición de videos a través del proceso más manejable de editar fotogramas clave. Nuestras extensas evaluaciones experimentales confirman la funcionalidad excepcional y las capacidades de edición del marco propuesto CCEdit. El video de demostración está disponible en https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.