LVCD : Colorisation de vidéos en traits basée sur des références avec des modèles de diffusion

LVCD: Reference-based Lineart Video Colorization with Diffusion Models

September 19, 2024

Auteurs: Zhitong Huang, Mohan Zhang, Jing Liao

cs.AI

Résumé

Nous proposons le premier cadre de diffusion vidéo pour la colorisation de vidéos en traits de référence. Contrairement aux travaux précédents qui reposent uniquement sur des modèles génératifs d'images pour coloriser les traits de référence image par image, notre approche exploite un modèle de diffusion vidéo pré-entraîné à grande échelle pour générer des vidéos d'animation colorisées. Cette approche conduit à des résultats plus cohérents temporellement et est mieux équipée pour gérer de grands mouvements. Tout d'abord, nous introduisons le Sketch-guided ControlNet qui fournit un contrôle supplémentaire pour affiner un modèle de diffusion d'image vers vidéo pour une synthèse vidéo contrôlable, permettant la génération de vidéos d'animation conditionnées par des traits de référence. Nous proposons ensuite l'Attention de Référence pour faciliter le transfert des couleurs du cadre de référence vers d'autres images contenant des mouvements rapides et expansifs. Enfin, nous présentons un schéma novateur d'échantillonnage séquentiel, incorporant le Module de Fusion Superposée et l'Attention de Pré-Référence, pour étendre le modèle de diffusion vidéo au-delà de sa limitation originale de longueur fixe pour la colorisation de vidéos longues. Les résultats qualitatifs et quantitatifs démontrent que notre méthode surpasse significativement les techniques de pointe en termes de qualité d'image et de vidéo, ainsi que de cohérence temporelle. De plus, notre méthode est capable de générer des vidéos d'animation de haute qualité et longues, cohérentes temporellement avec de grands mouvements, ce qui n'était pas réalisable dans les travaux précédents. Notre code et notre modèle sont disponibles sur https://luckyhzt.github.io/lvcd.

English

We propose the first video diffusion framework for reference-based lineart video colorization. Unlike previous works that rely solely on image generative models to colorize lineart frame by frame, our approach leverages a large-scale pretrained video diffusion model to generate colorized animation videos. This approach leads to more temporally consistent results and is better equipped to handle large motions. Firstly, we introduce Sketch-guided ControlNet which provides additional control to finetune an image-to-video diffusion model for controllable video synthesis, enabling the generation of animation videos conditioned on lineart. We then propose Reference Attention to facilitate the transfer of colors from the reference frame to other frames containing fast and expansive motions. Finally, we present a novel scheme for sequential sampling, incorporating the Overlapped Blending Module and Prev-Reference Attention, to extend the video diffusion model beyond its original fixed-length limitation for long video colorization. Both qualitative and quantitative results demonstrate that our method significantly outperforms state-of-the-art techniques in terms of frame and video quality, as well as temporal consistency. Moreover, our method is capable of generating high-quality, long temporal-consistent animation videos with large motions, which is not achievable in previous works. Our code and model are available at https://luckyhzt.github.io/lvcd.