Subject-Diffusion : Génération d'images personnalisées à partir de texte en domaine ouvert sans affinage au moment du test

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

Auteurs: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

Résumé

Les progrès récents dans la génération d'images personnalisées utilisant des modèles de diffusion ont été significatifs. Cependant, les avancées dans le domaine de la génération d'images personnalisées en domaine ouvert sans ajustement fin progressent plutôt lentement. Dans cet article, nous proposons Subject-Diffusion, un nouveau modèle de génération d'images personnalisées en domaine ouvert qui, en plus de ne pas nécessiter d'ajustement fin au moment du test, ne requiert également qu'une seule image de référence pour prendre en charge la génération personnalisée d'images à sujet unique ou multiple dans n'importe quel domaine. Tout d'abord, nous construisons un outil d'étiquetage automatique des données et utilisons le jeu de données LAION-Aesthetics pour créer un ensemble de données à grande échelle composé de 76 millions d'images ainsi que de leurs boîtes englobantes de détection de sujet, masques de segmentation et descriptions textuelles correspondants. Ensuite, nous concevons un nouveau cadre unifié qui combine la sémantique du texte et de l'image en intégrant un contrôle de localisation grossière et un contrôle fin de l'image de référence pour maximiser la fidélité du sujet et la généralisation. De plus, nous adoptons également un mécanisme de contrôle de l'attention pour prendre en charge la génération de sujets multiples. Des résultats qualitatifs et quantitatifs approfondis démontrent que notre méthode surpasse d'autres cadres SOTA dans la génération d'images personnalisées uniques, multiples et humaines. Veuillez consulter notre {page du projet} : https://oppo-mente-lab.github.io/subject_diffusion/

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}