Subject-Diffusion: テスト時のファインチューニングなしで実現するオープンドメインのパーソナライズされたテキストから画像への生成

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

著者: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

要旨

拡散モデルを用いたパーソナライズド画像生成における最近の進展は目覚ましいものがあります。しかし、オープンドメインかつファインチューニングを必要としないパーソナライズド画像生成の分野での開発は、比較的緩やかなペースで進んでいます。本論文では、Subject-Diffusionという新しいオープンドメインのパーソナライズド画像生成モデルを提案します。このモデルは、テスト時のファインチューニングを必要としないだけでなく、単一の参照画像のみを必要とし、任意のドメインにおける単一または複数被写体のパーソナライズド生成をサポートします。まず、自動データラベリングツールを構築し、LAION-Aestheticsデータセットを使用して、7600万枚の画像とそれに対応する被写体検出バウンディングボックス、セグメンテーションマスク、テキスト記述からなる大規模データセットを構築しました。次に、粗い位置情報と細かい参照画像制御を組み込むことで、テキストと画像の意味を統合し、被写体の忠実度と汎用性を最大化する新しい統一フレームワークを設計しました。さらに、複数被写体生成をサポートするために、アテンション制御メカニズムも採用しています。広範な定性的および定量的な結果は、我々の手法が単一、複数、および人間がカスタマイズした画像生成において、他のSOTAフレームワークを凌駕することを示しています。詳細については、https://oppo-mente-lab.github.io/subject_diffusion/{プロジェクトページ}をご参照ください。

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}