FashionComposer: Generación de Imágenes de Moda Compositivas

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Autores: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Resumen

Presentamos FashionComposer para la generación de imágenes de moda de manera compositiva. A diferencia de métodos anteriores, FashionComposer es altamente flexible. Acepta entradas multimodales (es decir, texto de guía, modelo humano paramétrico, imagen de prenda e imagen facial) y permite personalizar la apariencia, pose y figura del humano, asignando múltiples prendas de vestir en un solo paso. Para lograr esto, primero desarrollamos un marco universal capaz de manejar diversas modalidades de entrada. Construimos datos de entrenamiento escalados para mejorar las capacidades composicionales robustas del modelo. Para acomodar múltiples imágenes de referencia (prendas de vestir y rostros) de manera fluida, organizamos estas referencias en una sola imagen como una "biblioteca de activos" y empleamos un UNet de referencia para extraer características de apariencia. Para inyectar las características de apariencia en los píxeles correctos en el resultado generado, proponemos atención de enlace de sujeto. Vincula las características de apariencia de diferentes "activos" con las características de texto correspondientes. De esta manera, el modelo puede entender cada activo según su semántica, admitiendo números y tipos arbitrarios de imágenes de referencia. Como solución integral, FashionComposer también admite muchas otras aplicaciones como la generación de álbumes humanos, diversas tareas de prueba virtual, etc.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.