FashionComposer : Génération d'images de mode compositionnelles

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Auteurs: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Résumé

Nous présentons FashionComposer pour la génération d'images de mode compositionnelles. Contrairement aux méthodes précédentes, FashionComposer est hautement flexible. Il prend en compte des entrées multimodales (c'est-à-dire, une instruction textuelle, un modèle humain paramétrique, une image de vêtement et une image de visage) et permet de personnaliser l'apparence, la pose et la silhouette de l'humain, tout en attribuant plusieurs vêtements en une seule passe. Pour y parvenir, nous développons d'abord un cadre universel capable de gérer diverses modalités d'entrée. Nous construisons des données d'entraînement adaptées pour améliorer les capacités compositionnelles robustes du modèle. Pour intégrer de manière transparente plusieurs images de référence (vêtements et visages), nous organisons ces références dans une seule image en tant que "bibliothèque de ressources" et utilisons un UNet de référence pour extraire les caractéristiques d'apparence. Pour injecter les caractéristiques d'apparence dans les pixels corrects du résultat généré, nous proposons une attention de liaison de sujet. Cela lie les caractéristiques d'apparence de différents "éléments" avec les caractéristiques textuelles correspondantes. De cette manière, le modèle peut comprendre chaque élément en fonction de leur sémantique, prenant en charge un nombre arbitraire et des types variés d'images de référence. En tant que solution complète, FashionComposer prend également en charge de nombreuses autres applications telles que la génération d'albums humains, diverses tâches d'essayage virtuel, etc.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.