CCEdit: Creatieve en beheersbare video-editing via diffusiemodellen

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

Auteurs: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

Samenvatting

In dit werk presenteren we CCEdit, een veelzijdig framework ontworpen om de uitdagingen van creatieve en controleerbare videobewerking aan te pakken. CCEdit voldoet aan een breed scala aan gebruikersbewerkingsbehoeften en biedt verbeterde creatieve controle door een innovatieve aanpak die videostructuur en -uiterlijk ontkoppelt. We maken gebruik van de fundamentele ControlNet-architectuur om de structurele integriteit te behouden, terwijl we naadloos aanpasbare temporele modules integreren die compatibel zijn met state-of-the-art personalisatietechnieken voor tekst-naar-beeldgeneratie, zoals DreamBooth en LoRA. Bovendien introduceren we referentie-geconditioneerde videobewerking, waardoor gebruikers precieze creatieve controle over videobewerking kunnen uitoefenen via het beter beheersbare proces van het bewerken van sleutelframes. Onze uitgebreide experimentele evaluaties bevestigen de uitzonderlijke functionaliteit en bewerkingsmogelijkheden van het voorgestelde CCEdit-framework. Een demovideo is beschikbaar op https://www.youtube.com/watch?v=UQw4jq-igN4.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.