ColorFlow : Colorisation de séquences d'images améliorée par la récupération

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Auteurs: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Résumé

La colorisation automatique de séquences d'images en noir et blanc tout en préservant l'identité des personnages et des objets est une tâche complexe avec une demande significative sur le marché, notamment dans la colorisation de séries animées ou de bandes dessinées. Malgré les progrès réalisés dans la colorisation visuelle à l'aide de modèles génératifs à grande échelle tels que les modèles de diffusion, des défis liés à la contrôlabilité et à la cohérence de l'identité persistent, rendant les solutions actuelles inadaptées à une application industrielle. Pour y remédier, nous proposons ColorFlow, un cadre basé sur la diffusion en trois étapes conçu pour la colorisation de séquences d'images dans des applications industrielles. Contrairement aux méthodes existantes qui nécessitent un peaufinage par ID ou une extraction explicite d'incorporation d'ID, nous proposons un nouveau pipeline de colorisation augmenté par recherche robuste et généralisable pour coloriser des images avec des références colorées pertinentes. Notre pipeline présente également une conception à double branche : une branche pour l'extraction de l'identité colorée et l'autre pour la colorisation, exploitant les points forts des modèles de diffusion. Nous utilisons le mécanisme d'auto-attention dans les modèles de diffusion pour un apprentissage fort en contexte et une correspondance d'identité colorée. Pour évaluer notre modèle, nous introduisons ColorFlow-Bench, une référence complète pour la colorisation basée sur des références. Les résultats montrent que ColorFlow surpasse les modèles existants selon plusieurs critères, établissant une nouvelle norme en matière de colorisation d'images séquentielles et bénéficiant potentiellement à l'industrie artistique. Nous mettons nos codes et modèles à disposition sur notre page de projet : https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.