LVCD: Colorização de Vídeo em Arte Linear com Base em Referências usando Modelos de Difusão

LVCD: Reference-based Lineart Video Colorization with Diffusion Models

September 19, 2024

Autores: Zhitong Huang, Mohan Zhang, Jing Liao

cs.AI

Resumo

Propomos o primeiro framework de difusão de vídeo para colorização de vídeos em arte linear com base em referência. Ao contrário de trabalhos anteriores que dependem exclusivamente de modelos generativos de imagem para colorizar arte linear quadro a quadro, nossa abordagem utiliza um modelo de difusão de vídeo pré-treinado em grande escala para gerar vídeos de animação coloridos. Essa abordagem resulta em resultados mais consistentes temporalmente e está mais bem preparada para lidar com grandes movimentos. Em primeiro lugar, introduzimos o Sketch-guided ControlNet, que fornece controle adicional para ajustar um modelo de difusão de imagem para vídeo para síntese de vídeo controlável, permitindo a geração de vídeos de animação condicionados à arte linear. Em seguida, propomos a Reference Attention para facilitar a transferência de cores do quadro de referência para outros quadros contendo movimentos rápidos e expansivos. Por fim, apresentamos um esquema inovador para amostragem sequencial, incorporando o Módulo de Mistura Sobreposta e a Prev-Reference Attention, para estender o modelo de difusão de vídeo além de sua limitação original de comprimento fixo para colorização de vídeos longos. Tanto os resultados qualitativos quanto quantitativos demonstram que nosso método supera significativamente as técnicas de ponta em termos de qualidade de quadro e vídeo, bem como consistência temporal. Além disso, nosso método é capaz de gerar vídeos de animação de alta qualidade e consistentes temporalmente com grandes movimentos, o que não era possível em trabalhos anteriores. Nosso código e modelo estão disponíveis em https://luckyhzt.github.io/lvcd.

English

We propose the first video diffusion framework for reference-based lineart video colorization. Unlike previous works that rely solely on image generative models to colorize lineart frame by frame, our approach leverages a large-scale pretrained video diffusion model to generate colorized animation videos. This approach leads to more temporally consistent results and is better equipped to handle large motions. Firstly, we introduce Sketch-guided ControlNet which provides additional control to finetune an image-to-video diffusion model for controllable video synthesis, enabling the generation of animation videos conditioned on lineart. We then propose Reference Attention to facilitate the transfer of colors from the reference frame to other frames containing fast and expansive motions. Finally, we present a novel scheme for sequential sampling, incorporating the Overlapped Blending Module and Prev-Reference Attention, to extend the video diffusion model beyond its original fixed-length limitation for long video colorization. Both qualitative and quantitative results demonstrate that our method significantly outperforms state-of-the-art techniques in terms of frame and video quality, as well as temporal consistency. Moreover, our method is capable of generating high-quality, long temporal-consistent animation videos with large motions, which is not achievable in previous works. Our code and model are available at https://luckyhzt.github.io/lvcd.