FashionComposer: Kompositionelle Generierung von Modellbildern

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Autoren: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Zusammenfassung

Wir präsentieren FashionComposer für die kompositorische Generierung von Modebildern. Im Gegensatz zu früheren Methoden ist FashionComposer äußerst flexibel. Es nimmt multimodale Eingaben (d. h. Texteingabe, parametrisches menschliches Modell, Kleidungsbild und Gesichtsbild) entgegen und unterstützt die Personalisierung des Erscheinungsbilds, der Pose und der Figur des Menschen sowie das Zuweisen mehrerer Kleidungsstücke in einem Durchgang. Um dies zu erreichen, entwickeln wir zunächst ein universelles Framework, das in der Lage ist, verschiedene Eingabemodalitäten zu verarbeiten. Wir erstellen skalierte Trainingsdaten, um die robusten kompositorischen Fähigkeiten des Modells zu verbessern. Um mehrere Referenzbilder (Kleidungsstücke und Gesichter) nahtlos zu integrieren, organisieren wir diese Referenzen in einem einzigen Bild als "Asset-Bibliothek" und verwenden ein Referenz-UNet zur Extraktion von Erscheinungsmerkmalen. Um die Erscheinungsmerkmale korrekt in die generierten Ergebnisse einzufügen, schlagen wir eine Subjekt-Bindungs-Aufmerksamkeit vor. Diese verknüpft die Erscheinungsmerkmale aus verschiedenen "Assets" mit den entsprechenden Textmerkmalen. Auf diese Weise kann das Modell jedes Asset entsprechend seiner Semantik verstehen und beliebige Anzahlen und Arten von Referenzbildern unterstützen. Als umfassende Lösung unterstützt FashionComposer auch viele andere Anwendungen wie die Generierung von Alben mit Menschen, diverse virtuelle Anproben usw.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.