Cobra: Эффективная колоризация линейной графики с расширенными ссылками

Cobra: Efficient Line Art COlorization with BRoAder References

April 16, 2025

Авторы: Junhao Zhuang, Lingen Li, Xuan Ju, Zhaoyang Zhang, Chun Yuan, Ying Shan

cs.AI

Аннотация

Индустрия производства комиксов требует высокоточного, эффективного, контекстно-согласованного и гибко управляемого раскрашивания линейных рисунков на основе референсов. Страница комикса часто включает разнообразных персонажей, объекты и фоны, что усложняет процесс раскрашивания. Несмотря на прогресс в диффузионных моделях для генерации изображений, их применение в раскрашивании линейных рисунков остается ограниченным, сталкиваясь с проблемами обработки большого количества референсных изображений, длительного времени вывода и гибкого управления. Мы исследуем необходимость обширного контекстного руководства изображениями для качества раскрашивания линейных рисунков. Для решения этих задач мы представляем Cobra — эффективный и универсальный метод, который поддерживает цветовые подсказки и использует более 200 референсных изображений, сохраняя низкую задержку. Основой Cobra является архитектура Causal Sparse DiT, которая использует специально разработанные позиционные кодировки, причинно-следственное разреженное внимание и Key-Value Cache для эффективного управления длинными контекстными референсами и обеспечения согласованности цветовой идентичности. Результаты показывают, что Cobra достигает точного раскрашивания линейных рисунков благодаря обширному контекстному референсу, значительно повышая скорость вывода и интерактивность, что отвечает критическим требованиям индустрии. Мы публикуем наши коды и модели на странице проекта: https://zhuang2002.github.io/Cobra/.

English

The comic production industry requires reference-based line art colorization with high accuracy, efficiency, contextual consistency, and flexible control. A comic page often involves diverse characters, objects, and backgrounds, which complicates the coloring process. Despite advancements in diffusion models for image generation, their application in line art colorization remains limited, facing challenges related to handling extensive reference images, time-consuming inference, and flexible control. We investigate the necessity of extensive contextual image guidance on the quality of line art colorization. To address these challenges, we introduce Cobra, an efficient and versatile method that supports color hints and utilizes over 200 reference images while maintaining low latency. Central to Cobra is a Causal Sparse DiT architecture, which leverages specially designed positional encodings, causal sparse attention, and Key-Value Cache to effectively manage long-context references and ensure color identity consistency. Results demonstrate that Cobra achieves accurate line art colorization through extensive contextual reference, significantly enhancing inference speed and interactivity, thereby meeting critical industrial demands. We release our codes and models on our project page: https://zhuang2002.github.io/Cobra/.