AnyDressing: Aanpasbare Multi-Kledingstuk Virtueel Aankleden via Latente Diffusie Modellen

AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models

December 5, 2024

Auteurs: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He

cs.AI

Samenvatting

Recente ontwikkelingen in kleding-gecentreerde beeldgeneratie op basis van tekst- en beeldprompts met behulp van diffusiemodellen zijn indrukwekkend. Bestaande methoden missen echter ondersteuning voor verschillende combinaties van kledingstukken en worstelen om de kledingdetails te behouden terwijl ze trouw blijven aan de tekstprompts, waardoor hun prestaties beperkt zijn in diverse scenario's. In dit artikel richten we ons op een nieuwe taak, namelijk Multi-Kledingstuk Virtueel Aankleden, en stellen we een nieuwe methode genaamd AnyDressing voor om personages aan te passen op basis van elke combinatie van kledingstukken en gepersonaliseerde tekstprompts. AnyDressing bestaat uit twee primaire netwerken genaamd GarmentsNet en DressingNet, die respectievelijk zijn toegewijd aan het extraheren van gedetailleerde kledingkenmerken en het genereren van aangepaste beelden. Specifiek stellen we een efficiënte en schaalbare module voor genaamd Kledingstuk-Specifieke Functie-extractor in GarmentsNet om kledingtexturen individueel parallel te coderen. Deze ontwerp voorkomt verwarring tussen kledingstukken en zorgt voor netwerkefficiëntie. Ondertussen ontwerpen we een adaptief Dressing-Attention mechanisme en een nieuwe Strategie voor Instellingsniveau Kledingstuk Lokalisatie Leren in DressingNet om nauwkeurig meerdere kledingkenmerken in hun overeenkomstige regio's in te brengen. Deze aanpak integreert efficiënt multi-kledingtextuur aanwijzingen in gegenereerde beelden en verbetert verder de consistentie tussen tekst en beeld. Daarnaast introduceren we een Strategie voor Kleding-Verbeterde Textuurleren om de fijnkorrelige textuurdetails van kledingstukken te verbeteren. Dankzij ons goed doordachte ontwerp kan AnyDressing dienen als een plug-in module die eenvoudig kan worden geïntegreerd met eventuele gemeenschapscontrole-uitbreidingen voor diffusiemodellen, waardoor de diversiteit en controleerbaarheid van gesynthetiseerde beelden worden verbeterd. Uitgebreide experimenten tonen aan dat AnyDressing state-of-the-art resultaten behaalt.

English

Recent advances in garment-centric image generation from text and image prompts based on diffusion models are impressive. However, existing methods lack support for various combinations of attire, and struggle to preserve the garment details while maintaining faithfulness to the text prompts, limiting their performance across diverse scenarios. In this paper, we focus on a new task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing method for customizing characters conditioned on any combination of garments and any personalized text prompts. AnyDressing comprises two primary networks named GarmentsNet and DressingNet, which are respectively dedicated to extracting detailed clothing features and generating customized images. Specifically, we propose an efficient and scalable module called Garment-Specific Feature Extractor in GarmentsNet to individually encode garment textures in parallel. This design prevents garment confusion while ensuring network efficiency. Meanwhile, we design an adaptive Dressing-Attention mechanism and a novel Instance-Level Garment Localization Learning strategy in DressingNet to accurately inject multi-garment features into their corresponding regions. This approach efficiently integrates multi-garment texture cues into generated images and further enhances text-image consistency. Additionally, we introduce a Garment-Enhanced Texture Learning strategy to improve the fine-grained texture details of garments. Thanks to our well-craft design, AnyDressing can serve as a plug-in module to easily integrate with any community control extensions for diffusion models, improving the diversity and controllability of synthesized images. Extensive experiments show that AnyDressing achieves state-of-the-art results.