ColorFlow: 検索拡張画像シーケンスの着色

ColorFlow: Retrieval-Augmented Image Sequence Colorization

December 16, 2024

著者: Junhao Zhuang, Xuan Ju, Zhaoyang Zhang, Yong Liu, Shiyi Zhang, Chun Yuan, Ying Shan

cs.AI

要旨

自動的な白黒画像シーケンスの着色は、キャラクターやオブジェクトの識別（ID）を保持しながら行われる複雑なタスクであり、漫画やコミックシリーズの着色など、市場での需要が高い。拡散モデルなどの大規模生成モデルを使用した視覚的な着色の進歩があるにもかかわらず、制御可能性と識別の一貫性に関する課題が依然として存在し、現行のソリューションは産業用途には適していない。これを解決するために、産業用途向けの画像シーケンスの着色に特化した3段階の拡散ベースのフレームワークであるColorFlowを提案する。IDごとの微調整や明示的なID埋め込み抽出が必要な既存の手法とは異なり、関連する色の参照を使用して画像を着色するための新しい堅牢で汎用性のある検索強化型着色パイプラインを提案する。また、当社のパイプラインは、色の識別抽出用の1つのブランチと着色用のもう1つのブランチを備えたデュアルブランチ設計を特徴とし、拡散モデルの長所を活用している。拡散モデルの自己注意メカニズムを使用して強力なコンテキスト内学習と色の識別一致を行う。モデルの評価のために、参照ベースの着色の包括的なベンチマークであるColorFlow-Benchを導入する。結果は、ColorFlowが複数のメトリクスで既存のモデルを上回り、連続画像の着色において新たな基準を設定し、芸術産業に恩恵をもたらす可能性があることを示している。当社のコードとモデルは、プロジェクトページhttps://zhuang2002.github.io/ColorFlow/で公開しています。

English

Automatic black-and-white image sequence colorization while preserving character and object identity (ID) is a complex task with significant market demand, such as in cartoon or comic series colorization. Despite advancements in visual colorization using large-scale generative models like diffusion models, challenges with controllability and identity consistency persist, making current solutions unsuitable for industrial application.To address this, we propose ColorFlow, a three-stage diffusion-based framework tailored for image sequence colorization in industrial applications. Unlike existing methods that require per-ID finetuning or explicit ID embedding extraction, we propose a novel robust and generalizable Retrieval Augmented Colorization pipeline for colorizing images with relevant color references. Our pipeline also features a dual-branch design: one branch for color identity extraction and the other for colorization, leveraging the strengths of diffusion models. We utilize the self-attention mechanism in diffusion models for strong in-context learning and color identity matching. To evaluate our model, we introduce ColorFlow-Bench, a comprehensive benchmark for reference-based colorization. Results show that ColorFlow outperforms existing models across multiple metrics, setting a new standard in sequential image colorization and potentially benefiting the art industry. We release our codes and models on our project page: https://zhuang2002.github.io/ColorFlow/.