ChatPaper.aiChatPaper

CCEdit: Творческое и управляемое редактирование видео с использованием моделей диффузии

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023
Авторы: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo
cs.AI

Аннотация

В данной работе мы представляем CCEdit — универсальный фреймворк, разработанный для решения задач творческого и контролируемого редактирования видео. CCEdit охватывает широкий спектр пользовательских требований к редактированию и обеспечивает расширенный творческий контроль благодаря инновационному подходу, который разделяет структуру и внешний вид видео. Мы используем базовую архитектуру ControlNet для сохранения структурной целостности, одновременно интегрируя адаптируемые временные модули, совместимые с передовыми методами персонализации для генерации изображений из текста, такими как DreamBooth и LoRA. Кроме того, мы вводим редактирование видео с условием на основе референса, что позволяет пользователям осуществлять точный творческий контроль над редактированием видео через более управляемый процесс редактирования ключевых кадров. Наши обширные экспериментальные оценки подтверждают исключительную функциональность и возможности редактирования предложенного фреймворка CCEdit. Демонстрационное видео доступно по ссылке: https://www.youtube.com/watch?v=UQw4jq-igN4.
English
In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.
PDF92December 15, 2024