Any2AnyTryon: Aproveitando Incorporações de Posição Adaptativas para Tarefas Versáteis de Vestuário Virtual

Any2AnyTryon: Leveraging Adaptive Position Embeddings for Versatile Virtual Clothing Tasks

January 27, 2025

Autores: Hailong Guo, Bohan Zeng, Yiren Song, Wentao Zhang, Chuang Zhang, Jiaming Liu

cs.AI

Resumo

A realidade virtual de prova de roupas baseada em imagens (VTON) tem como objetivo gerar um resultado de prova virtual transferindo uma peça de vestuário de entrada para a imagem de uma pessoa-alvo. No entanto, a escassez de dados emparelhados de peças de vestuário e modelos torna desafiador para os métodos existentes alcançar alta generalização e qualidade em VTON. Além disso, isso limita a capacidade de gerar provas sem máscara. Para lidar com o problema de escassez de dados, abordagens como Garment Estável e MMTryon utilizam uma estratégia de dados sintéticos, aumentando efetivamente a quantidade de dados emparelhados no lado do modelo. No entanto, os métodos existentes geralmente estão limitados a realizar tarefas específicas de prova e carecem de facilidade de uso. Para aprimorar a generalização e controlabilidade da geração de VTON, propomos o Any2AnyTryon, que pode gerar resultados de prova com base em diferentes instruções textuais e imagens de peças de vestuário de modelo para atender a diversas necessidades, eliminando a dependência de máscaras, poses ou outras condições. Especificamente, primeiro construímos o conjunto de dados de prova virtual LAION-Garment, o maior conjunto de dados de prova de vestuário de código aberto conhecido. Em seguida, introduzimos a incorporação de posição adaptativa, que permite que o modelo gere imagens de modelo vestido ou imagens de peças de vestuário satisfatórias com base em imagens de entrada de tamanhos e categorias diferentes, melhorando significativamente a generalização e controlabilidade da geração de VTON. Em nossos experimentos, demonstramos a eficácia do nosso Any2AnyTryon e o comparamos com métodos existentes. Os resultados mostram que o Any2AnyTryon possibilita uma geração flexível, controlável e de alta qualidade de provas virtuais baseadas em imagens.

English

Image-based virtual try-on (VTON) aims to generate a virtual try-on result by transferring an input garment onto a target person's image. However, the scarcity of paired garment-model data makes it challenging for existing methods to achieve high generalization and quality in VTON. Also, it limits the ability to generate mask-free try-ons. To tackle the data scarcity problem, approaches such as Stable Garment and MMTryon use a synthetic data strategy, effectively increasing the amount of paired data on the model side. However, existing methods are typically limited to performing specific try-on tasks and lack user-friendliness. To enhance the generalization and controllability of VTON generation, we propose Any2AnyTryon, which can generate try-on results based on different textual instructions and model garment images to meet various needs, eliminating the reliance on masks, poses, or other conditions. Specifically, we first construct the virtual try-on dataset LAION-Garment, the largest known open-source garment try-on dataset. Then, we introduce adaptive position embedding, which enables the model to generate satisfactory outfitted model images or garment images based on input images of different sizes and categories, significantly enhancing the generalization and controllability of VTON generation. In our experiments, we demonstrate the effectiveness of our Any2AnyTryon and compare it with existing methods. The results show that Any2AnyTryon enables flexible, controllable, and high-quality image-based virtual try-on generation.https://logn-2024.github.io/Any2anyTryonProjectPage/