LVCD: Referentiegebaseerde kleurcodering van lijnvideo's met diffusiemodellen.

LVCD: Reference-based Lineart Video Colorization with Diffusion Models

September 19, 2024

Auteurs: Zhitong Huang, Mohan Zhang, Jing Liao

cs.AI

Samenvatting

Wij stellen het eerste video diffusiekader voor voor referentie-gebaseerde lijntekening video-kleuring. In tegenstelling tot eerdere werken die uitsluitend vertrouwen op beeldgeneratiemodellen om lijntekeningen frame voor frame in te kleuren, maakt onze benadering gebruik van een grootschalig voortraind video diffusiemodel om gekleurde animatievideo's te genereren. Deze aanpak leidt tot meer temporeel consistente resultaten en is beter in staat om grote bewegingen aan te pakken. Ten eerste introduceren we Sketch-geleide ControlNet die extra controle biedt om een beeld-naar-video diffusiemodel te verfijnen voor controleerbare videosynthese, waardoor de generatie van animatievideo's geconditioneerd op lijntekeningen mogelijk is. Vervolgens stellen we Reference Attention voor om de overdracht van kleuren van het referentiekader naar andere frames met snelle en uitgebreide bewegingen te vergemakkelijken. Tot slot presenteren we een nieuw schema voor sequentieel monsteren, waarbij het Overlappende Mengmodule en Prev-Referentie Aandacht worden opgenomen, om het video diffusiemodel uit te breiden voorbij zijn oorspronkelijke vaste lengtebeperking voor langdurige video-kleuring. Zowel kwalitatieve als kwantitatieve resultaten tonen aan dat onze methode aanzienlijk beter presteert dan state-of-the-art technieken op het gebied van frame- en videokwaliteit, evenals temporele consistentie. Bovendien is onze methode in staat om hoogwaardige, langdurig consistente animatievideo's met grote bewegingen te genereren, wat niet haalbaar is in eerdere werken. Onze code en model zijn beschikbaar op https://luckyhzt.github.io/lvcd.

English

We propose the first video diffusion framework for reference-based lineart video colorization. Unlike previous works that rely solely on image generative models to colorize lineart frame by frame, our approach leverages a large-scale pretrained video diffusion model to generate colorized animation videos. This approach leads to more temporally consistent results and is better equipped to handle large motions. Firstly, we introduce Sketch-guided ControlNet which provides additional control to finetune an image-to-video diffusion model for controllable video synthesis, enabling the generation of animation videos conditioned on lineart. We then propose Reference Attention to facilitate the transfer of colors from the reference frame to other frames containing fast and expansive motions. Finally, we present a novel scheme for sequential sampling, incorporating the Overlapped Blending Module and Prev-Reference Attention, to extend the video diffusion model beyond its original fixed-length limitation for long video colorization. Both qualitative and quantitative results demonstrate that our method significantly outperforms state-of-the-art techniques in terms of frame and video quality, as well as temporal consistency. Moreover, our method is capable of generating high-quality, long temporal-consistent animation videos with large motions, which is not achievable in previous works. Our code and model are available at https://luckyhzt.github.io/lvcd.