MangaNinja: Kleurisering van lijntekeningen met nauwkeurige referentieopvolging

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Auteurs: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Samenvatting

Afgeleid van diffusiemodellen, is MangaNinjia gespecialiseerd in de taak van het inkleuren van lijnillustraties met referentiebegeleiding. We integreren twee doordachte ontwerpen om een nauwkeurige transcriptie van karakterdetails te waarborgen, waaronder een patch-shufflingmodule om correspondentie-leren tussen de referentiekleurenafbeelding en de doellijnillustratie te vergemakkelijken, en een op punten gestuurd besturingsschema om fijnmazige kleuraanpassing mogelijk te maken. Experimenten op een zelfverzamelde benchmark tonen de superioriteit van ons model aan ten opzichte van huidige oplossingen wat betreft nauwkeurige inkleuring. We laten verder het potentieel zien van de voorgestelde interactieve puntbesturing bij het omgaan met uitdagende gevallen, kleurinpassing tussen karakters, harmonisatie van meerdere referenties, buiten het bereik van bestaande algoritmen.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.