ColorFlow: Colorização de Sequência de Imagens com Recuperação Auxiliada

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Autores: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Resumo

A colorização automática de sequências de imagens em preto e branco, preservando a identidade de personagens e objetos, é uma tarefa complexa com uma demanda significativa no mercado, como na colorização de séries de desenhos animados ou quadrinhos. Apesar dos avanços na colorização visual usando modelos generativos em larga escala, como os modelos de difusão, desafios relacionados à controlabilidade e consistência de identidade persistem, tornando as soluções atuais inadequadas para aplicação industrial. Para lidar com isso, propomos o ColorFlow, um framework baseado em difusão em três estágios, adaptado para colorização de sequências de imagens em aplicações industriais. Ao contrário de métodos existentes que exigem ajustes finos por ID ou extração explícita de incorporação de ID, propomos um novo pipeline de Colorização Aprimorado por Recuperação, robusto e generalizável, para colorizar imagens com referências de cor relevantes. Nosso pipeline também apresenta um design de duplo ramo: um ramo para extração de identidade de cor e outro para colorização, aproveitando os pontos fortes dos modelos de difusão. Utilizamos o mecanismo de autoatenção em modelos de difusão para um aprendizado forte em contexto e correspondência de identidade de cor. Para avaliar nosso modelo, introduzimos o ColorFlow-Bench, um benchmark abrangente para colorização baseada em referência. Os resultados mostram que o ColorFlow supera os modelos existentes em várias métricas, estabelecendo um novo padrão na colorização de imagens sequenciais e potencialmente beneficiando a indústria artística. Disponibilizamos nossos códigos e modelos em nossa página do projeto: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.