Subject-Diffusion: Offene Domäne personalisierte Text-zu-Bild-Generierung ohne Feinabstimmung zur Testzeit

Subject-Diffusion:Open Domain Personalized Text-to-Image Generation without Test-time Fine-tuning

July 21, 2023

Autoren: Jian Ma, Junhao Liang, Chen Chen, Haonan Lu

cs.AI

Zusammenfassung

Die jüngsten Fortschritte in der personalisierten Bildgenerierung mit Diffusionsmodellen waren bedeutend. Die Entwicklung im Bereich der Open-Domain- und nicht-fine-tuning-basierten personalisierten Bildgenerierung schreitet jedoch eher langsam voran. In diesem Artikel schlagen wir Subject-Diffusion vor, ein neuartiges Open-Domain-Modell zur personalisierten Bildgenerierung, das nicht nur kein Testzeit-Fine-Tuning erfordert, sondern auch nur ein einziges Referenzbild benötigt, um die personalisierte Generierung von Einzel- oder Mehrfachsubjekten in beliebigen Domänen zu unterstützen. Zunächst erstellen wir ein automatisches Datenlabeling-Tool und verwenden den LAION-Aesthetics-Datensatz, um einen umfangreichen Datensatz zu konstruieren, der aus 76 Millionen Bildern sowie deren entsprechenden Subjekterkennungs-Bounding-Boxen, Segmentierungsmasken und Textbeschreibungen besteht. Zweitens entwerfen wir ein neues einheitliches Framework, das Text- und Bildsemantik kombiniert, indem es grobe Positionsinformationen und fein abgestimmte Referenzbildsteuerung integriert, um die Subjekttreue und Generalisierung zu maximieren. Darüber hinaus verwenden wir auch einen Aufmerksamkeitskontrollmechanismus, um die Generierung mehrerer Subjekte zu unterstützen. Umfangreiche qualitative und quantitative Ergebnisse zeigen, dass unsere Methode andere State-of-the-Art-Frameworks in der Einzel-, Mehrfach- und menschlich angepassten Bildgenerierung übertrifft. Weitere Informationen finden Sie auf unserer {Projektseite}: https://oppo-mente-lab.github.io/subject_diffusion/.

English

Recent progress in personalized image generation using diffusion models has been significant. However, development in the area of open-domain and non-fine-tuning personalized image generation is proceeding rather slowly. In this paper, we propose Subject-Diffusion, a novel open-domain personalized image generation model that, in addition to not requiring test-time fine-tuning, also only requires a single reference image to support personalized generation of single- or multi-subject in any domain. Firstly, we construct an automatic data labeling tool and use the LAION-Aesthetics dataset to construct a large-scale dataset consisting of 76M images and their corresponding subject detection bounding boxes, segmentation masks and text descriptions. Secondly, we design a new unified framework that combines text and image semantics by incorporating coarse location and fine-grained reference image control to maximize subject fidelity and generalization. Furthermore, we also adopt an attention control mechanism to support multi-subject generation. Extensive qualitative and quantitative results demonstrate that our method outperforms other SOTA frameworks in single, multiple, and human customized image generation. Please refer to our https://oppo-mente-lab.github.io/subject_diffusion/{project page}