ColorFlow: Colorización de secuencias de imágenes mejorada con recuperación.

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Autores: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Resumen

La colorización automática de secuencias de imágenes en blanco y negro mientras se preserva la identidad de personajes y objetos es una tarea compleja con una demanda significativa en el mercado, como en la colorización de series de dibujos animados o cómics. A pesar de los avances en la colorización visual utilizando modelos generativos a gran escala como los modelos de difusión, persisten desafíos en cuanto a la controlabilidad y la consistencia de la identidad, lo que hace que las soluciones actuales no sean adecuadas para aplicaciones industriales. Para abordar esto, proponemos ColorFlow, un marco de trabajo basado en difusión de tres etapas diseñado para la colorización de secuencias de imágenes en aplicaciones industriales. A diferencia de los métodos existentes que requieren ajustes finos por ID o extracción explícita de incrustación de ID, proponemos un novedoso y robusto pipeline de Colorización Aumentada con Recuperación para la colorización de imágenes con referencias de color relevantes. Nuestro pipeline también presenta un diseño de doble rama: una rama para la extracción de la identidad de color y la otra para la colorización, aprovechando las fortalezas de los modelos de difusión. Utilizamos el mecanismo de autoatención en los modelos de difusión para un aprendizaje sólido en contexto y la coincidencia de la identidad de color. Para evaluar nuestro modelo, presentamos ColorFlow-Bench, un completo banco de pruebas para la colorización basada en referencias. Los resultados muestran que ColorFlow supera a los modelos existentes en múltiples métricas, estableciendo un nuevo estándar en la colorización de imágenes secuenciales y potencialmente beneficiando a la industria del arte. Publicamos nuestros códigos y modelos en nuestra página de proyecto: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.