MangaNinja: Colorización de Líneas de Arte con Seguimiento Preciso de Referencias.

MangaNinja: Line Art Colorization with Precise Reference Following

January 14, 2025

Autores: Zhiheng Liu, Ka Leong Cheng, Xi Chen, Jie Xiao, Hao Ouyang, Kai Zhu, Yu Liu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Resumen

Derivado de modelos de difusión, MangaNinjia se especializa en la tarea de colorización de arte de líneas guiada por referencia. Incorporamos dos diseños considerados para garantizar una transcripción precisa de los detalles del personaje, que incluyen un módulo de reordenamiento de parches para facilitar el aprendizaje de correspondencia entre la imagen de color de referencia y el arte de líneas objetivo, y un esquema de control impulsado por puntos para permitir un emparejamiento de colores detallado. Experimentos en un banco de pruebas recopilado internamente demuestran la superioridad de nuestro modelo sobre las soluciones actuales en términos de colorización precisa. Mostramos además el potencial del propuesto control interactivo de puntos en el manejo de casos desafiantes, colorización entre personajes, armonización multi-referencia, más allá del alcance de los algoritmos existentes.

English

Derived from diffusion models, MangaNinjia specializes in the task of reference-guided line art colorization. We incorporate two thoughtful designs to ensure precise character detail transcription, including a patch shuffling module to facilitate correspondence learning between the reference color image and the target line art, and a point-driven control scheme to enable fine-grained color matching. Experiments on a self-collected benchmark demonstrate the superiority of our model over current solutions in terms of precise colorization. We further showcase the potential of the proposed interactive point control in handling challenging cases, cross-character colorization, multi-reference harmonization, beyond the reach of existing algorithms.