CCEdit: 拡散モデルによる創造的で制御可能なビデオ編集

CCEdit: Creative and Controllable Video Editing via Diffusion Models

September 28, 2023

著者: Ruoyu Feng, Wenming Weng, Yanhui Wang, Yuhui Yuan, Jianmin Bao, Chong Luo, Zhibo Chen, Baining Guo

cs.AI

要旨

本研究では、創造的かつ制御可能な映像編集の課題に対処するための多機能フレームワークであるCCEditを提案します。CCEditは、幅広いユーザー編集要件に対応し、映像の構造と外観を分離する革新的なアプローチを通じて、強化された創造的制御を実現します。構造的整合性を維持するためにControlNetアーキテクチャを活用しつつ、DreamBoothやLoRAなどの最先端のテキストから画像への生成パーソナライゼーション技術と互換性のある適応型時間モジュールをシームレスに統合しています。さらに、参照条件付き映像編集を導入し、キーフレーム編集というより管理しやすいプロセスを通じて、ユーザーが映像編集に対して精密な創造的制御を行使できるようにしました。広範な実験的評価により、提案するCCEditフレームワークの卓越した機能性と編集能力が確認されています。デモ動画はhttps://www.youtube.com/watch?v=UQw4jq-igN4でご覧いただけます。

English

In this work, we present CCEdit, a versatile framework designed to address the challenges of creative and controllable video editing. CCEdit accommodates a wide spectrum of user editing requirements and enables enhanced creative control through an innovative approach that decouples video structure and appearance. We leverage the foundational ControlNet architecture to preserve structural integrity, while seamlessly integrating adaptable temporal modules compatible with state-of-the-art personalization techniques for text-to-image generation, such as DreamBooth and LoRA.Furthermore, we introduce reference-conditioned video editing, empowering users to exercise precise creative control over video editing through the more manageable process of editing key frames. Our extensive experimental evaluations confirm the exceptional functionality and editing capabilities of the proposed CCEdit framework. Demo video is available at https://www.youtube.com/watch?v=UQw4jq-igN4.