AnyDressing: Aanpasbare Multi-Kledingstuk Virtueel Aankleden via Latente Diffusie Modellen
AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models
December 5, 2024
Auteurs: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He
cs.AI
Samenvatting
Recente ontwikkelingen in kleding-gecentreerde beeldgeneratie op basis van tekst- en beeldprompts met behulp van diffusiemodellen zijn indrukwekkend. Bestaande methoden missen echter ondersteuning voor verschillende combinaties van kledingstukken en worstelen om de kledingdetails te behouden terwijl ze trouw blijven aan de tekstprompts, waardoor hun prestaties beperkt zijn in diverse scenario's. In dit artikel richten we ons op een nieuwe taak, namelijk Multi-Kledingstuk Virtueel Aankleden, en stellen we een nieuwe methode genaamd AnyDressing voor om personages aan te passen op basis van elke combinatie van kledingstukken en gepersonaliseerde tekstprompts. AnyDressing bestaat uit twee primaire netwerken genaamd GarmentsNet en DressingNet, die respectievelijk zijn toegewijd aan het extraheren van gedetailleerde kledingkenmerken en het genereren van aangepaste beelden. Specifiek stellen we een efficiënte en schaalbare module voor genaamd Kledingstuk-Specifieke Functie-extractor in GarmentsNet om kledingtexturen individueel parallel te coderen. Deze ontwerp voorkomt verwarring tussen kledingstukken en zorgt voor netwerkefficiëntie. Ondertussen ontwerpen we een adaptief Dressing-Attention mechanisme en een nieuwe Strategie voor Instellingsniveau Kledingstuk Lokalisatie Leren in DressingNet om nauwkeurig meerdere kledingkenmerken in hun overeenkomstige regio's in te brengen. Deze aanpak integreert efficiënt multi-kledingtextuur aanwijzingen in gegenereerde beelden en verbetert verder de consistentie tussen tekst en beeld. Daarnaast introduceren we een Strategie voor Kleding-Verbeterde Textuurleren om de fijnkorrelige textuurdetails van kledingstukken te verbeteren. Dankzij ons goed doordachte ontwerp kan AnyDressing dienen als een plug-in module die eenvoudig kan worden geïntegreerd met eventuele gemeenschapscontrole-uitbreidingen voor diffusiemodellen, waardoor de diversiteit en controleerbaarheid van gesynthetiseerde beelden worden verbeterd. Uitgebreide experimenten tonen aan dat AnyDressing state-of-the-art resultaten behaalt.
English
Recent advances in garment-centric image generation from text and image
prompts based on diffusion models are impressive. However, existing methods
lack support for various combinations of attire, and struggle to preserve the
garment details while maintaining faithfulness to the text prompts, limiting
their performance across diverse scenarios. In this paper, we focus on a new
task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing
method for customizing characters conditioned on any combination of garments
and any personalized text prompts. AnyDressing comprises two primary networks
named GarmentsNet and DressingNet, which are respectively dedicated to
extracting detailed clothing features and generating customized images.
Specifically, we propose an efficient and scalable module called
Garment-Specific Feature Extractor in GarmentsNet to individually encode
garment textures in parallel. This design prevents garment confusion while
ensuring network efficiency. Meanwhile, we design an adaptive
Dressing-Attention mechanism and a novel Instance-Level Garment Localization
Learning strategy in DressingNet to accurately inject multi-garment features
into their corresponding regions. This approach efficiently integrates
multi-garment texture cues into generated images and further enhances
text-image consistency. Additionally, we introduce a Garment-Enhanced Texture
Learning strategy to improve the fine-grained texture details of garments.
Thanks to our well-craft design, AnyDressing can serve as a plug-in module to
easily integrate with any community control extensions for diffusion models,
improving the diversity and controllability of synthesized images. Extensive
experiments show that AnyDressing achieves state-of-the-art results.