AnyDressing : Essayage virtuel multi-vêtements personnalisable via des modèles de diffusion latente

AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models

December 5, 2024

Auteurs: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He

cs.AI

Résumé

Les récents progrès dans la génération d'images centrées sur les vêtements à partir de textes et de prompts d'images basés sur des modèles de diffusion sont impressionnants. Cependant, les méthodes existantes manquent de support pour diverses combinaisons de tenues et ont du mal à préserver les détails des vêtements tout en restant fidèles aux prompts textuels, limitant ainsi leurs performances dans des scénarios variés. Dans cet article, nous nous concentrons sur une nouvelle tâche, à savoir l'Habillage Virtuel Multi-Vêtements, et nous proposons une nouvelle méthode appelée AnyDressing pour personnaliser des personnages en fonction de toute combinaison de vêtements et de prompts textuels personnalisés. AnyDressing comprend deux réseaux principaux nommés GarmentsNet et DressingNet, respectivement dédiés à l'extraction de caractéristiques détaillées des vêtements et à la génération d'images personnalisées. Plus précisément, nous proposons un module efficace et évolutif appelé Extracteur de Caractéristiques Spécifiques aux Vêtements dans GarmentsNet pour encoder individuellement les textures des vêtements en parallèle. Cette conception évite la confusion des vêtements tout en assurant l'efficacité du réseau. Parallèlement, nous concevons un mécanisme d'Attention à l'Habillage adaptatif et une nouvelle stratégie d'Apprentissage de Localisation des Vêtements au Niveau de l'Instance dans DressingNet pour injecter avec précision les caractéristiques multi-vêtements dans leurs régions correspondantes. Cette approche intègre efficacement les indices de texture multi-vêtements dans les images générées et renforce davantage la cohérence texte-image. De plus, nous introduisons une stratégie d'Apprentissage de Texture Améliorée par les Vêtements pour améliorer les détails de texture fins des vêtements. Grâce à notre conception bien pensée, AnyDressing peut servir de module plug-in pour s'intégrer facilement à toutes les extensions de contrôle communautaire pour les modèles de diffusion, améliorant ainsi la diversité et la contrôlabilité des images synthétisées. Des expériences approfondies montrent qu'AnyDressing atteint des résultats de pointe.

English

Recent advances in garment-centric image generation from text and image prompts based on diffusion models are impressive. However, existing methods lack support for various combinations of attire, and struggle to preserve the garment details while maintaining faithfulness to the text prompts, limiting their performance across diverse scenarios. In this paper, we focus on a new task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing method for customizing characters conditioned on any combination of garments and any personalized text prompts. AnyDressing comprises two primary networks named GarmentsNet and DressingNet, which are respectively dedicated to extracting detailed clothing features and generating customized images. Specifically, we propose an efficient and scalable module called Garment-Specific Feature Extractor in GarmentsNet to individually encode garment textures in parallel. This design prevents garment confusion while ensuring network efficiency. Meanwhile, we design an adaptive Dressing-Attention mechanism and a novel Instance-Level Garment Localization Learning strategy in DressingNet to accurately inject multi-garment features into their corresponding regions. This approach efficiently integrates multi-garment texture cues into generated images and further enhances text-image consistency. Additionally, we introduce a Garment-Enhanced Texture Learning strategy to improve the fine-grained texture details of garments. Thanks to our well-craft design, AnyDressing can serve as a plug-in module to easily integrate with any community control extensions for diffusion models, improving the diversity and controllability of synthesized images. Extensive experiments show that AnyDressing achieves state-of-the-art results.