Cobra: Efficiënte Lijnkunst Inkleuring met BRedere Referenties

Cobra: Efficient Line Art COlorization with BRoAder References

April 16, 2025

Auteurs: Junhao Zhuang, Lingen Li, Xuan Ju, Zhaoyang Zhang, Chun Yuan, Ying Shan

cs.AI

Samenvatting

De stripverhalenindustrie vereist referentiegebaseerde inkleuring van lijntekeningen met hoge nauwkeurigheid, efficiëntie, contextuele consistentie en flexibele controle. Een stripblad omvat vaak diverse personages, objecten en achtergronden, wat het inkleurproces complex maakt. Ondanks vooruitgang in diffusiemodellen voor beeldgeneratie, blijft hun toepassing in het inkleuren van lijntekeningen beperkt, met uitdagingen op het gebied van het verwerken van uitgebreide referentiebeelden, tijdrovende inferentie en flexibele controle. Wij onderzoeken de noodzaak van uitgebreide contextuele beeldbegeleiding op de kwaliteit van het inkleuren van lijntekeningen. Om deze uitdagingen aan te pakken, introduceren wij Cobra, een efficiënte en veelzijdige methode die kleuraanwijzingen ondersteunt en meer dan 200 referentiebeelden gebruikt terwijl een lage latentie wordt behouden. Centraal in Cobra staat een Causal Sparse DiT-architectuur, die gebruikmaakt van speciaal ontworpen positionele coderingen, causale sparse aandacht en Key-Value Cache om lange-context referenties effectief te beheren en kleuridentiteitsconsistentie te waarborgen. Resultaten tonen aan dat Cobra nauwkeurige inkleuring van lijntekeningen bereikt door uitgebreide contextuele referentie, wat de inferentiesnelheid en interactiviteit aanzienlijk verbetert, waardoor kritische industriële eisen worden vervuld. Wij hebben onze codes en modellen vrijgegeven op onze projectpagina: https://zhuang2002.github.io/Cobra/.

English

The comic production industry requires reference-based line art colorization with high accuracy, efficiency, contextual consistency, and flexible control. A comic page often involves diverse characters, objects, and backgrounds, which complicates the coloring process. Despite advancements in diffusion models for image generation, their application in line art colorization remains limited, facing challenges related to handling extensive reference images, time-consuming inference, and flexible control. We investigate the necessity of extensive contextual image guidance on the quality of line art colorization. To address these challenges, we introduce Cobra, an efficient and versatile method that supports color hints and utilizes over 200 reference images while maintaining low latency. Central to Cobra is a Causal Sparse DiT architecture, which leverages specially designed positional encodings, causal sparse attention, and Key-Value Cache to effectively manage long-context references and ensure color identity consistency. Results demonstrate that Cobra achieves accurate line art colorization through extensive contextual reference, significantly enhancing inference speed and interactivity, thereby meeting critical industrial demands. We release our codes and models on our project page: https://zhuang2002.github.io/Cobra/.