Any2AnyTryon : Exploiter les incrustations de position adaptatives pour des tâches vestimentaires virtuelles polyvalentes

Any2AnyTryon: Leveraging Adaptive Position Embeddings for Versatile Virtual Clothing Tasks

January 27, 2025

Auteurs: Hailong Guo, Bohan Zeng, Yiren Song, Wentao Zhang, Chuang Zhang, Jiaming Liu

cs.AI

Résumé

La virtualisation d'essayage virtuel basée sur l'image (VTON) vise à générer un résultat d'essayage virtuel en transférant un vêtement d'entrée sur l'image d'une personne cible. Cependant, la rareté des données de vêtements associées à des modèles rend difficile pour les méthodes existantes d'atteindre une généralisation et une qualité élevées en VTON. Cela limite également la capacité à générer des essayages sans masque. Pour résoudre le problème de rareté des données, des approches telles que Stable Garment et MMTryon utilisent une stratégie de données synthétiques, augmentant efficacement la quantité de données associées du côté du modèle. Cependant, les méthodes existantes sont généralement limitées à des tâches d'essayage spécifiques et manquent de convivialité. Pour améliorer la généralisation et la contrôlabilité de la génération VTON, nous proposons Any2AnyTryon, qui peut générer des résultats d'essayage en fonction de différentes instructions textuelles et d'images de vêtements modèles pour répondre à divers besoins, éliminant ainsi la dépendance aux masques, aux poses ou à d'autres conditions. Plus précisément, nous construisons d'abord l'ensemble de données d'essayage virtuel LAION-Garment, le plus grand ensemble de données d'essayage de vêtements open source connu. Ensuite, nous introduisons un encodage de position adaptatif, qui permet au modèle de générer des images de modèles habillés ou d'images de vêtements satisfaisantes en fonction d'images d'entrée de différentes tailles et catégories, améliorant significativement la généralisation et la contrôlabilité de la génération VTON. Dans nos expériences, nous démontrons l'efficacité de notre Any2AnyTryon et le comparons avec les méthodes existantes. Les résultats montrent qu'Any2AnyTryon permet une génération d'essayage virtuel flexible, contrôlable et de haute qualité basée sur l'image.

English

Image-based virtual try-on (VTON) aims to generate a virtual try-on result by transferring an input garment onto a target person's image. However, the scarcity of paired garment-model data makes it challenging for existing methods to achieve high generalization and quality in VTON. Also, it limits the ability to generate mask-free try-ons. To tackle the data scarcity problem, approaches such as Stable Garment and MMTryon use a synthetic data strategy, effectively increasing the amount of paired data on the model side. However, existing methods are typically limited to performing specific try-on tasks and lack user-friendliness. To enhance the generalization and controllability of VTON generation, we propose Any2AnyTryon, which can generate try-on results based on different textual instructions and model garment images to meet various needs, eliminating the reliance on masks, poses, or other conditions. Specifically, we first construct the virtual try-on dataset LAION-Garment, the largest known open-source garment try-on dataset. Then, we introduce adaptive position embedding, which enables the model to generate satisfactory outfitted model images or garment images based on input images of different sizes and categories, significantly enhancing the generalization and controllability of VTON generation. In our experiments, we demonstrate the effectiveness of our Any2AnyTryon and compare it with existing methods. The results show that Any2AnyTryon enables flexible, controllable, and high-quality image-based virtual try-on generation.https://logn-2024.github.io/Any2anyTryonProjectPage/