Cobra : Colorisation Efficace d'Art Linéaire avec des Références Élargies

Cobra: Efficient Line Art COlorization with BRoAder References

April 16, 2025

Auteurs: Junhao Zhuang, Lingen Li, Xuan Ju, Zhaoyang Zhang, Chun Yuan, Ying Shan

cs.AI

Résumé

L'industrie de production de bandes dessinées nécessite une colorisation de dessins au trait basée sur des références, avec une grande précision, efficacité, cohérence contextuelle et un contrôle flexible. Une page de bande dessinée implique souvent des personnages, objets et arrière-plans variés, ce qui complexifie le processus de colorisation. Malgré les avancées des modèles de diffusion pour la génération d'images, leur application dans la colorisation de dessins au trait reste limitée, confrontée à des défis liés à la gestion d'un grand nombre d'images de référence, à des temps d'inférence longs et à un contrôle flexible. Nous étudions la nécessité d'une guidance contextuelle étendue sur la qualité de la colorisation de dessins au trait. Pour relever ces défis, nous introduisons Cobra, une méthode efficace et polyvalente qui prend en charge des indices de couleur et utilise plus de 200 images de référence tout en maintenant une faible latence. Au cœur de Cobra se trouve une architecture Causal Sparse DiT, qui exploite des encodages positionnels spécialement conçus, une attention causale éparse et un cache clé-valeur pour gérer efficacement les références contextuelles longues et assurer la cohérence de l'identité des couleurs. Les résultats démontrent que Cobra réalise une colorisation précise des dessins au trait grâce à une référence contextuelle étendue, améliorant significativement la vitesse d'inférence et l'interactivité, répondant ainsi aux exigences critiques de l'industrie. Nous publions nos codes et modèles sur notre page de projet : https://zhuang2002.github.io/Cobra/.

English

The comic production industry requires reference-based line art colorization with high accuracy, efficiency, contextual consistency, and flexible control. A comic page often involves diverse characters, objects, and backgrounds, which complicates the coloring process. Despite advancements in diffusion models for image generation, their application in line art colorization remains limited, facing challenges related to handling extensive reference images, time-consuming inference, and flexible control. We investigate the necessity of extensive contextual image guidance on the quality of line art colorization. To address these challenges, we introduce Cobra, an efficient and versatile method that supports color hints and utilizes over 200 reference images while maintaining low latency. Central to Cobra is a Causal Sparse DiT architecture, which leverages specially designed positional encodings, causal sparse attention, and Key-Value Cache to effectively manage long-context references and ensure color identity consistency. Results demonstrate that Cobra achieves accurate line art colorization through extensive contextual reference, significantly enhancing inference speed and interactivity, thereby meeting critical industrial demands. We release our codes and models on our project page: https://zhuang2002.github.io/Cobra/.