Any2AnyTryon: Sfruttare i Posizionamenti Adattivi per Compiti Versatili di Abbigliamento Virtuale

Any2AnyTryon: Leveraging Adaptive Position Embeddings for Versatile Virtual Clothing Tasks

January 27, 2025

Autori: Hailong Guo, Bohan Zeng, Yiren Song, Wentao Zhang, Chuang Zhang, Jiaming Liu

cs.AI

Abstract

Il virtual try-on basato sull'immagine (VTON) mira a generare un risultato di prova virtuale trasferendo un capo di abbigliamento di input su un'immagine di una persona target. Tuttavia, la scarsità di dati abbinati capo-modello rende difficile per i metodi esistenti raggiungere un'elevata generalizzazione e qualità in VTON. Inoltre, limita la capacità di generare prove senza maschera. Per affrontare il problema della scarsità di dati, approcci come Stable Garment e MMTryon utilizzano una strategia di dati sintetici, aumentando efficacemente la quantità di dati abbinati sul lato del modello. Tuttavia, i metodi esistenti sono tipicamente limitati nell'esecuzione di specifiche attività di prova e mancano di facilità d'uso. Per migliorare la generalizzazione e la controllabilità della generazione di VTON, proponiamo Any2AnyTryon, che può generare risultati di prova in base a diverse istruzioni testuali e immagini di capi di abbigliamento del modello per soddisfare varie esigenze, eliminando la dipendenza da maschere, pose o altre condizioni. In particolare, costruiamo prima il dataset di prova virtuale LAION-Garment, il più grande dataset di prova di abbigliamento open-source conosciuto. Successivamente, introduciamo l'incorporamento di posizione adattivo, che consente al modello di generare immagini di modelli vestiti o immagini di capi soddisfacenti basate su immagini di input di diverse dimensioni e categorie, migliorando significativamente la generalizzazione e la controllabilità della generazione di VTON. Nei nostri esperimenti, dimostriamo l'efficacia del nostro Any2AnyTryon e lo confrontiamo con i metodi esistenti. I risultati mostrano che Any2AnyTryon consente una generazione flessibile, controllabile e di alta qualità del virtual try-on basato sull'immagine.

English

Image-based virtual try-on (VTON) aims to generate a virtual try-on result by transferring an input garment onto a target person's image. However, the scarcity of paired garment-model data makes it challenging for existing methods to achieve high generalization and quality in VTON. Also, it limits the ability to generate mask-free try-ons. To tackle the data scarcity problem, approaches such as Stable Garment and MMTryon use a synthetic data strategy, effectively increasing the amount of paired data on the model side. However, existing methods are typically limited to performing specific try-on tasks and lack user-friendliness. To enhance the generalization and controllability of VTON generation, we propose Any2AnyTryon, which can generate try-on results based on different textual instructions and model garment images to meet various needs, eliminating the reliance on masks, poses, or other conditions. Specifically, we first construct the virtual try-on dataset LAION-Garment, the largest known open-source garment try-on dataset. Then, we introduce adaptive position embedding, which enables the model to generate satisfactory outfitted model images or garment images based on input images of different sizes and categories, significantly enhancing the generalization and controllability of VTON generation. In our experiments, we demonstrate the effectiveness of our Any2AnyTryon and compare it with existing methods. The results show that Any2AnyTryon enables flexible, controllable, and high-quality image-based virtual try-on generation.https://logn-2024.github.io/Any2anyTryonProjectPage/