NaRCan: Imagem Canônica Refinada Natural com Integração de Prior de Difusão para Edição de Vídeo

NaRCan: Natural Refined Canonical Image with Integration of Diffusion Prior for Video Editing

June 10, 2024

Autores: Ting-Hsuan Chen, Jiewen Chan, Hau-Shiang Shiu, Shih-Han Yen, Chang-Han Yeh, Yu-Lun Liu

cs.AI

Resumo

Propomos um framework de edição de vídeo, NaRCan, que integra um campo de deformação híbrido e um prior de difusão para gerar imagens canônicas naturais de alta qualidade que representam o vídeo de entrada. Nossa abordagem utiliza homografia para modelar o movimento global e emprega perceptrons multicamadas (MLPs) para capturar deformações residuais locais, aprimorando a capacidade do modelo de lidar com dinâmicas complexas de vídeo. Ao introduzir um prior de difusão desde os estágios iniciais do treinamento, nosso modelo garante que as imagens geradas mantenham uma aparência natural de alta qualidade, tornando as imagens canônicas produzidas adequadas para diversas tarefas subsequentes de edição de vídeo, uma capacidade não alcançada pelos métodos baseados em canônicos atuais. Além disso, incorporamos o ajuste fino de adaptação de baixo posto (LoRA) e introduzimos uma técnica de agendamento de atualização de ruído e prior de difusão que acelera o processo de treinamento em 14 vezes. Resultados experimentais extensivos mostram que nosso método supera as abordagens existentes em diversas tarefas de edição de vídeo e produz sequências de vídeo editadas coerentes e de alta qualidade. Veja os resultados em vídeo em nossa página do projeto: https://koi953215.github.io/NaRCan_page/.

English

We propose a video editing framework, NaRCan, which integrates a hybrid deformation field and diffusion prior to generate high-quality natural canonical images to represent the input video. Our approach utilizes homography to model global motion and employs multi-layer perceptrons (MLPs) to capture local residual deformations, enhancing the model's ability to handle complex video dynamics. By introducing a diffusion prior from the early stages of training, our model ensures that the generated images retain a high-quality natural appearance, making the produced canonical images suitable for various downstream tasks in video editing, a capability not achieved by current canonical-based methods. Furthermore, we incorporate low-rank adaptation (LoRA) fine-tuning and introduce a noise and diffusion prior update scheduling technique that accelerates the training process by 14 times. Extensive experimental results show that our method outperforms existing approaches in various video editing tasks and produces coherent and high-quality edited video sequences. See our project page for video results at https://koi953215.github.io/NaRCan_page/.