AnyDressing: Vestidor virtual multi-prenda personalizable a través de Modelos de Difusión Latente

AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models

December 5, 2024

Autores: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He

cs.AI

Resumen

Los recientes avances en la generación de imágenes centradas en prendas a partir de texto y estímulos visuales basados en modelos de difusión son impresionantes. Sin embargo, los métodos existentes carecen de soporte para diversas combinaciones de atuendos y tienen dificultades para preservar los detalles de la prenda al mismo tiempo que mantienen fidelidad a los estímulos de texto, lo que limita su rendimiento en escenarios diversos. En este documento, nos enfocamos en una nueva tarea, es decir, el Vestuario Virtual Multi-Prenda, y proponemos un nuevo método llamado AnyDressing para personalizar personajes condicionados a cualquier combinación de prendas y a cualquier estímulo de texto personalizado. AnyDressing consta de dos redes principales llamadas GarmentsNet y DressingNet, que se dedican respectivamente a extraer características detalladas de la ropa y generar imágenes personalizadas. Específicamente, proponemos un módulo eficiente y escalable llamado Extractor de Características Específicas de Prenda en GarmentsNet para codificar individualmente las texturas de las prendas en paralelo. Este diseño evita la confusión de prendas al tiempo que asegura la eficiencia de la red. Mientras tanto, diseñamos un mecanismo de Atención al Vestir adaptativo y una estrategia novedosa de Aprendizaje de Localización de Prenda a Nivel de Instancia en DressingNet para inyectar con precisión características de múltiples prendas en sus regiones correspondientes. Este enfoque integra eficientemente señales de textura de múltiples prendas en las imágenes generadas y mejora aún más la consistencia texto-imagen. Además, introducimos una estrategia de Aprendizaje de Textura Mejorada por Prenda para mejorar los detalles de textura detallados de las prendas. Gracias a nuestro diseño cuidadoso, AnyDressing puede funcionar como un módulo complementario para integrarse fácilmente con cualquier extensión de control comunitario para modelos de difusión, mejorando la diversidad y controlabilidad de las imágenes sintetizadas. Experimentos extensos demuestran que AnyDressing logra resultados de vanguardia.

English

Recent advances in garment-centric image generation from text and image prompts based on diffusion models are impressive. However, existing methods lack support for various combinations of attire, and struggle to preserve the garment details while maintaining faithfulness to the text prompts, limiting their performance across diverse scenarios. In this paper, we focus on a new task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing method for customizing characters conditioned on any combination of garments and any personalized text prompts. AnyDressing comprises two primary networks named GarmentsNet and DressingNet, which are respectively dedicated to extracting detailed clothing features and generating customized images. Specifically, we propose an efficient and scalable module called Garment-Specific Feature Extractor in GarmentsNet to individually encode garment textures in parallel. This design prevents garment confusion while ensuring network efficiency. Meanwhile, we design an adaptive Dressing-Attention mechanism and a novel Instance-Level Garment Localization Learning strategy in DressingNet to accurately inject multi-garment features into their corresponding regions. This approach efficiently integrates multi-garment texture cues into generated images and further enhances text-image consistency. Additionally, we introduce a Garment-Enhanced Texture Learning strategy to improve the fine-grained texture details of garments. Thanks to our well-craft design, AnyDressing can serve as a plug-in module to easily integrate with any community control extensions for diffusion models, improving the diversity and controllability of synthesized images. Extensive experiments show that AnyDressing achieves state-of-the-art results.