LVCD: Colorizzazione video in bianco e nero basata su riferimenti con modelli di diffusione

LVCD: Reference-based Lineart Video Colorization with Diffusion Models

September 19, 2024

Autori: Zhitong Huang, Mohan Zhang, Jing Liao

cs.AI

Abstract

Proponiamo il primo quadro di diffusione video per la colorizzazione di video in stile lineart basata su riferimenti. A differenza dei lavori precedenti che si basano esclusivamente su modelli generativi di immagini per colorizzare frame in stile lineart, il nostro approccio sfrutta un modello di diffusione video preaddestrato su larga scala per generare video animati colorizzati. Questo metodo porta a risultati più coerenti temporalmente ed è più adatto a gestire grandi movimenti. Innanzitutto, introduciamo il ControlNet guidato dallo Sketch che fornisce un controllo aggiuntivo per perfezionare un modello di diffusione immagine-video per la sintesi video controllabile, consentendo la generazione di video animati condizionati al lineart. Successivamente, proponiamo l'Attenzione al Riferimento per facilitare il trasferimento dei colori dal frame di riferimento ad altri frame contenenti movimenti rapidi ed espansivi. Infine, presentiamo uno schema innovativo per il campionamento sequenziale, incorporando il Modulo di Fusione Sovrapposto e l'Attenzione al Riferimento Precedente, per estendere il modello di diffusione video oltre la sua originaria limitazione di lunghezza fissa per la colorizzazione di video lunghi. Sia i risultati qualitativi che quantitativi dimostrano che il nostro metodo supera significativamente le tecniche all'avanguardia in termini di qualità dei frame e dei video, nonché di coerenza temporale. Inoltre, il nostro metodo è in grado di generare video animati di alta qualità e lunga coerenza temporale con ampi movimenti, il che non era possibile nei lavori precedenti. Il nostro codice e modello sono disponibili su https://luckyhzt.github.io/lvcd.

English

We propose the first video diffusion framework for reference-based lineart video colorization. Unlike previous works that rely solely on image generative models to colorize lineart frame by frame, our approach leverages a large-scale pretrained video diffusion model to generate colorized animation videos. This approach leads to more temporally consistent results and is better equipped to handle large motions. Firstly, we introduce Sketch-guided ControlNet which provides additional control to finetune an image-to-video diffusion model for controllable video synthesis, enabling the generation of animation videos conditioned on lineart. We then propose Reference Attention to facilitate the transfer of colors from the reference frame to other frames containing fast and expansive motions. Finally, we present a novel scheme for sequential sampling, incorporating the Overlapped Blending Module and Prev-Reference Attention, to extend the video diffusion model beyond its original fixed-length limitation for long video colorization. Both qualitative and quantitative results demonstrate that our method significantly outperforms state-of-the-art techniques in terms of frame and video quality, as well as temporal consistency. Moreover, our method is capable of generating high-quality, long temporal-consistent animation videos with large motions, which is not achievable in previous works. Our code and model are available at https://luckyhzt.github.io/lvcd.