ColorFlow: Поиск с поддержкой извлечения цвета последовательности изображений

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Авторы: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Аннотация

Автоматическое окрашивание черно-белой последовательности изображений с сохранением характера и идентификации объектов является сложной задачей с высоким спросом на рынке, например, в окрашивании мультфильмов или комиксов. Несмотря на прогресс в визуальном окрашивании с использованием масштабных генеративных моделей, таких как модели диффузии, остаются проблемы с управляемостью и согласованностью идентификации, что делает текущие решения непригодными для промышленного применения. Для решения этой проблемы мы предлагаем ColorFlow, трехэтапную диффузионную структуру, специально разработанную для окрашивания последовательности изображений в промышленных приложениях. В отличие от существующих методов, требующих настройки под каждую идентификацию или явное извлечение встроенной идентификации, мы предлагаем новый надежный и обобщенный конвейер для окрашивания с помощью поискового усиления. Наш конвейер также имеет двухветвевую конструкцию: одна ветвь для извлечения цветовой идентичности и другая для окрашивания, используя преимущества моделей диффузии. Мы используем механизм самовнимания в моделях диффузии для эффективного контекстного обучения и сопоставления цветовой идентичности. Для оценки нашей модели мы представляем ColorFlow-Bench, обширный набор тестов для окрашивания на основе ссылок. Результаты показывают, что ColorFlow превосходит существующие модели по нескольким метрикам, устанавливая новый стандарт в последовательном окрашивании изображений и потенциально принося пользу индустрии искусства. Мы публикуем наши коды и модели на странице нашего проекта: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.