Steuerbare menschliche Bildgenerierung mit personalisierten Mehrbekleidungen.

Controllable Human Image Generation with Personalized Multi-Garments

November 25, 2024

Autoren: Yisol Choi, Sangkyung Kwak, Sihyun Yu, Hyungwon Choi, Jinwoo Shin

cs.AI

Zusammenfassung

Wir präsentieren BootComp, ein neuartiges Framework, das auf Text-zu-Bild-Diffusionsmodellen für die kontrollierte Generierung von menschlichen Bildern mit mehreren Referenzkleidungsstücken basiert. Hier liegt der Hauptengpass in der Datenerfassung für das Training: Das Sammeln eines groß angelegten Datensatzes hochwertiger Referenzkleidungsbilder pro menschlichem Subjekt ist äußerst herausfordernd, d. h. idealerweise müsste man jedes einzelne Kleidungsstück fotografisch erfassen, das von jedem Menschen getragen wird. Um dies zu bewältigen, schlagen wir eine Daten-Generierungspipeline vor, um einen großen synthetischen Datensatz zu erstellen, der aus Paaren von Menschen und mehreren Kleidungsstücken besteht, indem ein Modell eingeführt wird, um beliebige Referenzkleidungsbilder aus jedem menschlichen Bild zu extrahieren. Um die Datenqualität sicherzustellen, schlagen wir auch eine Filterstrategie vor, um unerwünschte generierte Daten zu entfernen, basierend auf der Messung der wahrgenommenen Ähnlichkeiten zwischen der im menschlichen Bild präsentierten Kleidung und der extrahierten Kleidung. Schließlich trainieren wir unter Verwendung des erstellten synthetischen Datensatzes ein Diffusionsmodell mit zwei parallelen Rauschunterdrückungspfaden, die mehrere Kleidungsbilder als Bedingungen verwenden, um menschliche Bilder zu generieren, während ihre feingliedrigen Details erhalten bleiben. Wir zeigen außerdem die breite Anwendbarkeit unseres Frameworks, indem wir es an verschiedene Arten der referenzbasierten Generierung im Modebereich anpassen, einschließlich virtuellem Anprobieren und kontrollierter Generierung menschlicher Bilder unter anderen Bedingungen wie Pose, Gesicht usw.

English

We present BootComp, a novel framework based on text-to-image diffusion models for controllable human image generation with multiple reference garments. Here, the main bottleneck is data acquisition for training: collecting a large-scale dataset of high-quality reference garment images per human subject is quite challenging, i.e., ideally, one needs to manually gather every single garment photograph worn by each human. To address this, we propose a data generation pipeline to construct a large synthetic dataset, consisting of human and multiple-garment pairs, by introducing a model to extract any reference garment images from each human image. To ensure data quality, we also propose a filtering strategy to remove undesirable generated data based on measuring perceptual similarities between the garment presented in human image and extracted garment. Finally, by utilizing the constructed synthetic dataset, we train a diffusion model having two parallel denoising paths that use multiple garment images as conditions to generate human images while preserving their fine-grained details. We further show the wide-applicability of our framework by adapting it to different types of reference-based generation in the fashion domain, including virtual try-on, and controllable human image generation with other conditions, e.g., pose, face, etc.