MangaNinja : Colorisation de l'art en ligne avec suivi précis des références.

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Auteurs: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Résumé

Dérivé des modèles de diffusion, MangaNinjia se spécialise dans la tâche de colorisation d'art en ligne guidée par référence. Nous incorporons deux conceptions réfléchies pour assurer une transcription précise des détails des personnages, notamment un module de mélange de patchs pour faciliter l'apprentissage de la correspondance entre l'image couleur de référence et l'art en ligne cible, et un schéma de contrôle basé sur des points pour permettre un appariement des couleurs finement détaillé. Des expériences sur un banc d'essai auto-collecté démontrent la supériorité de notre modèle par rapport aux solutions actuelles en termes de colorisation précise. Nous mettons en avant le potentiel du contrôle interactif par points proposé pour traiter des cas difficiles, la colorisation entre personnages, l'harmonisation multi-références, au-delà de la portée des algorithmes existants.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.