Geração de Imagens Humanas Controláveis com Múltiplos Trajes Personalizados

Controllable Human Image Generation with Personalized Multi-Garments

November 25, 2024

Autores: Yisol Choi, Sangkyung Kwak, Sihyun Yu, Hyungwon Choi, Jinwoo Shin

cs.AI

Resumo

Apresentamos o BootComp, um novo framework baseado em modelos de difusão de texto para imagem para geração de imagens humanas controláveis com múltiplas peças de vestuário de referência. Aqui, o principal gargalo é a aquisição de dados para treinamento: coletar um conjunto de dados em grande escala de imagens de peças de vestuário de referência de alta qualidade por sujeito humano é bastante desafiador, ou seja, idealmente, é necessário reunir manualmente cada fotografia de peça de vestuário usada por cada humano. Para lidar com isso, propomos um pipeline de geração de dados para construir um grande conjunto de dados sintéticos, consistindo de pares de humanos e múltiplas peças de vestuário, introduzindo um modelo para extrair quaisquer imagens de peças de vestuário de referência de cada imagem humana. Para garantir a qualidade dos dados, também propomos uma estratégia de filtragem para remover dados gerados indesejáveis com base na medição de similaridades perceptuais entre a peça de vestuário apresentada na imagem humana e a peça de vestuário extraída. Finalmente, utilizando o conjunto de dados sintéticos construído, treinamos um modelo de difusão com dois caminhos de remoção de ruído em paralelo que usam múltiplas imagens de peças de vestuário como condições para gerar imagens humanas preservando seus detalhes refinados. Mostramos ainda a ampla aplicabilidade de nosso framework adaptando-o a diferentes tipos de geração baseada em referência no domínio da moda, incluindo provador virtual e geração de imagens humanas controláveis com outras condições, como pose, rosto, etc.

English

We present BootComp, a novel framework based on text-to-image diffusion models for controllable human image generation with multiple reference garments. Here, the main bottleneck is data acquisition for training: collecting a large-scale dataset of high-quality reference garment images per human subject is quite challenging, i.e., ideally, one needs to manually gather every single garment photograph worn by each human. To address this, we propose a data generation pipeline to construct a large synthetic dataset, consisting of human and multiple-garment pairs, by introducing a model to extract any reference garment images from each human image. To ensure data quality, we also propose a filtering strategy to remove undesirable generated data based on measuring perceptual similarities between the garment presented in human image and extracted garment. Finally, by utilizing the constructed synthetic dataset, we train a diffusion model having two parallel denoising paths that use multiple garment images as conditions to generate human images while preserving their fine-grained details. We further show the wide-applicability of our framework by adapting it to different types of reference-based generation in the fashion domain, including virtual try-on, and controllable human image generation with other conditions, e.g., pose, face, etc.