KleurFlow: Ophalingsversterkte Beeldsequentiekleuring

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

Auteurs: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

Samenvatting

Automatische kleurcodering van zwart-wit beeldreeksen met behoud van karakter en objectidentiteit is een complexe taak met aanzienlijke marktvraag, zoals bij het inkleuren van tekenfilms of stripreeksen. Ondanks vooruitgang in visuele kleurcodering met grootschalige generatieve modellen zoals diffusiemodellen, blijven uitdagingen met controleerbaarheid en identiteitsconsistentie bestaan, waardoor huidige oplossingen ongeschikt zijn voor industriële toepassingen. Om dit aan te pakken, stellen we ColorFlow voor, een op diffusie gebaseerd raamwerk in drie stadia dat is afgestemd op het inkleuren van beeldreeksen in industriële toepassingen. In tegenstelling tot bestaande methoden die fijnafstemming per ID vereisen of expliciete ID-embeddingextractie, stellen we een nieuw, robuust en generaliseerbaar Retrieval Augmented Colorization-pijplijn voor om afbeeldingen in te kleuren met relevante kleurreferenties. Onze pijplijn heeft ook een dubbele-tak ontwerp: één tak voor kleuridentiteitsextractie en de andere voor kleurcodering, waarbij gebruik wordt gemaakt van de sterke punten van diffusiemodellen. We maken gebruik van het zelfaandachtsmechanisme in diffusiemodellen voor krachtig in-context leren en kleuridentiteitsmatching. Om ons model te evalueren, introduceren we ColorFlow-Bench, een uitgebreide benchmark voor referentiegebaseerde kleurcodering. De resultaten tonen aan dat ColorFlow bestaande modellen overtreft op meerdere metingen, waarmee het een nieuwe standaard zet in sequentiële beeldkleuring en mogelijk voordelen biedt voor de kunstindustrie. We publiceren onze codes en modellen op onze projectpagina: https://zhuang2002.github.io/ColorFlow/.

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.