CCEdit: 확산 모델을 통한 창의적이고 제어 가능한 비디오 편집

초록

본 연구에서는 창의적이고 제어 가능한 비디오 편집의 도전 과제를 해결하기 위해 설계된 다목적 프레임워크인 CCEdit을 소개합니다. CCEdit은 다양한 사용자 편집 요구를 수용하며, 비디오 구조와 외관을 분리하는 혁신적인 접근 방식을 통해 향상된 창의적 제어를 가능하게 합니다. 우리는 구조적 무결성을 보존하기 위해 ControlNet 아키텍처를 활용하고, DreamBooth 및 LoRA와 같은 최신 텍스트-이미지 생성 개인화 기술과 호환되는 적응형 시간적 모듈을 원활하게 통합합니다. 또한, 참조 기반 비디오 편집을 도입하여 사용자가 키 프레임 편집이라는 더 관리하기 쉬운 프로세스를 통해 비디오 편집에 대한 정밀한 창의적 제어를 행사할 수 있도록 합니다. 광범위한 실험적 평가를 통해 제안된 CCEdit 프레임워크의 탁월한 기능성과 편집 능력을 확인하였습니다. 데모 비디오는 https://www.youtube.com/watch?v=UQw4jq-igN4에서 확인할 수 있습니다.

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.

CCEdit: 확산 모델을 통한 창의적이고 제어 가능한 비디오 편집

CCEdit: Creative and Controllable Video Editing via Diffusion Models

초록

Support