코브라: 브로더 참조를 활용한 효율적인 라인 아트 채색

Cobra: Efficient Line Art COlorization with BRoAder References

April 16, 2025

저자: Junhao Zhuang, Lingen Li, Xuan Ju, Zhaoyang Zhang, Chun Yuan, Ying Shan

cs.AI

초록

만화 제작 산업은 높은 정확도, 효율성, 문맥적 일관성, 그리고 유연한 제어가 가능한 참조 기반의 라인 아트 채색을 필요로 합니다. 만화 페이지는 다양한 캐릭터, 객체, 배경을 포함하고 있어 채색 과정을 복잡하게 만듭니다. 이미지 생성 분야에서 디퓨전 모델의 발전이 있었음에도 불구하고, 라인 아트 채색에의 적용은 여전히 제한적이며, 방대한 참조 이미지 처리, 시간 소모적인 추론, 유연한 제어와 관련된 문제에 직면해 있습니다. 우리는 라인 아트 채색의 품질에 대한 방대한 문맥적 이미지 지도의 필요성을 조사합니다. 이러한 문제를 해결하기 위해, 우리는 Cobra를 소개합니다. Cobra는 색상 힌트를 지원하고 200개 이상의 참조 이미지를 활용하면서도 낮은 지연 시간을 유지하는 효율적이고 다용도적인 방법입니다. Cobra의 핵심은 Causal Sparse DiT 아키텍처로, 특별히 설계된 위치 인코딩, 인과적 희소 주의(Causal Sparse Attention), 그리고 Key-Value Cache를 활용하여 장문맥 참조를 효과적으로 관리하고 색상 정체성 일관성을 보장합니다. 결과적으로 Cobra는 방대한 문맥적 참조를 통해 정확한 라인 아트 채색을 달성하며, 추론 속도와 상호작용성을 크게 향상시켜 중요한 산업적 요구를 충족시킵니다. 우리는 프로젝트 페이지(https://zhuang2002.github.io/Cobra/)에 코드와 모델을 공개합니다.

English

The comic production industry requires reference-based line art colorization with high accuracy, efficiency, contextual consistency, and flexible control. A comic page often involves diverse characters, objects, and backgrounds, which complicates the coloring process. Despite advancements in diffusion models for image generation, their application in line art colorization remains limited, facing challenges related to handling extensive reference images, time-consuming inference, and flexible control. We investigate the necessity of extensive contextual image guidance on the quality of line art colorization. To address these challenges, we introduce Cobra, an efficient and versatile method that supports color hints and utilizes over 200 reference images while maintaining low latency. Central to Cobra is a Causal Sparse DiT architecture, which leverages specially designed positional encodings, causal sparse attention, and Key-Value Cache to effectively manage long-context references and ensure color identity consistency. Results demonstrate that Cobra achieves accurate line art colorization through extensive contextual reference, significantly enhancing inference speed and interactivity, thereby meeting critical industrial demands. We release our codes and models on our project page: https://zhuang2002.github.io/Cobra/.