Farbfluss: Abrufgestützte Farbgebung von Bildsequenzen

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Autoren: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Zusammenfassung

Die automatische Kolorierung von schwarz-weißen Bildsequenzen unter Beibehaltung von Charakter- und Objektidentität ist eine komplexe Aufgabe mit erheblicher Marktnachfrage, beispielsweise bei der Kolorierung von Cartoon- oder Comicserien. Trotz Fortschritten bei der visuellen Kolorierung mithilfe von groß angelegten generativen Modellen wie Diffusionsmodellen bestehen Herausforderungen hinsichtlich Steuerbarkeit und Identitätskonsistenz, wodurch aktuelle Lösungen für industrielle Anwendungen ungeeignet sind. Um dies zu bewältigen, schlagen wir ColorFlow vor, ein auf drei Stufen basierendes Diffusionsframework, das speziell für die Kolorierung von Bildsequenzen in industriellen Anwendungen entwickelt wurde. Im Gegensatz zu bestehenden Methoden, die eine Feinabstimmung pro Identität erfordern oder eine explizite Identitätseinbettungsextraktion erfordern, schlagen wir eine neuartige robuste und generalisierbare Retrieval-augmentierte Kolorierungspipeline für die Kolorierung von Bildern mit relevanten Farbverweisen vor. Unsere Pipeline verfügt auch über ein Zweigdesign: ein Zweig für die Extraktion von Farbidentität und der andere für die Kolorierung, wobei die Stärken von Diffusionsmodellen genutzt werden. Wir verwenden den Selbst-Aufmerksamkeitsmechanismus in Diffusionsmodellen für starkes kontextbezogenes Lernen und Farbidentitätsabgleich. Zur Bewertung unseres Modells führen wir ColorFlow-Bench ein, einen umfassenden Benchmark für referenzbasierte Kolorierung. Die Ergebnisse zeigen, dass ColorFlow bestehende Modelle in mehreren Metriken übertrifft und einen neuen Standard in der sequenziellen Bildkolorierung setzt, was möglicherweise der Kunstindustrie zugutekommt. Wir veröffentlichen unseren Code und unsere Modelle auf unserer Projektseite: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.