FashionComposer: Генерация композиционных изображений моды

FashionComposer: Compositional Fashion Image Generation

December 18, 2024

Авторы: Sihui Ji, Yiyang Wang, Xi Chen, Xiaogang Xu, Hao Luo, Hengshuang Zhao

cs.AI

Аннотация

Мы представляем FashionComposer для композиционной генерации модных изображений. В отличие от предыдущих методов, FashionComposer обладает высокой гибкостью. Он принимает мультимодальный ввод (текстовый запрос, параметрическую модель человека, изображение одежды и лица) и поддерживает персонализацию внешности, позы и фигуры человека, а также назначение нескольких предметов одежды за один проход. Для достижения этого мы сначала разработали универсальную структуру, способную обрабатывать разнообразные модальности ввода. Мы создали масштабированные обучающие данные для улучшения надежности модели в композиционном плане. Чтобы без проблем вместить несколько эталонных изображений (одежды и лиц), мы организовали эти ссылки в одном изображении как "библиотеку ресурсов" и использовали UNet для извлечения признаков внешности. Для внедрения признаков внешности в правильные пиксели в сгенерированном результате мы предлагаем внимание, связанное с объектом. Оно связывает признаки внешности из разных "ресурсов" с соответствующими текстовыми признаками. Таким образом, модель может понимать каждый ресурс в соответствии с их семантикой, поддерживая произвольное количество и типы эталонных изображений. Как комплексное решение, FashionComposer также поддерживает множество других приложений, таких как создание альбома человека, различные виртуальные примерки и т. д.

English

We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.