CCEdit: Edição Criativa e Controlável de Vídeos por meio de Modelos de Difusão

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

Autores: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

Resumo

Neste trabalho, apresentamos o CCEdit, uma estrutura versátil projetada para enfrentar os desafios da edição de vídeo criativa e controlável. O CCEdit acomoda uma ampla gama de requisitos de edição do usuário e permite um controle criativo aprimorado por meio de uma abordagem inovadora que desacopla a estrutura e a aparência do vídeo. Aproveitamos a arquitetura fundamental do ControlNet para preservar a integridade estrutural, ao mesmo tempo em que integramos de forma contínua módulos temporais adaptáveis compatíveis com técnicas de personalização de última geração para geração de texto em imagem, como DreamBooth e LoRA. Além disso, introduzimos a edição de vídeo condicionada por referência, capacitando os usuários a exercer um controle criativo preciso sobre a edição de vídeo por meio do processo mais gerenciável de edição de quadros-chave. Nossas extensivas avaliações experimentais confirmam a funcionalidade excepcional e as capacidades de edição da estrutura CCEdit proposta. O vídeo de demonstração está disponível em https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.