AnyDressing: Настроенное многокомпонентное виртуальное примерочное помещение с использованием моделей латентной диффузии

AnyDressing: Customizable Multi-Garment Virtual Dressing via Latent Diffusion Models

December 5, 2024

Авторы: Xinghui Li, Qichao Sun, Pengze Zhang, Fulong Ye, Zhichao Liao, Wanquan Feng, Songtao Zhao, Qian He

cs.AI

Аннотация

Недавние достижения в генерации изображений, сосредоточенных на одежде, на основе текстовых и изображенческих подсказок с использованием моделей диффузии впечатляют. Однако существующие методы не поддерживают различные комбинации одежды и испытывают трудности в сохранении деталей одежды при соблюдении верности текстовым подсказкам, что ограничивает их производительность в различных сценариях. В данной статье мы сосредотачиваемся на новой задаче, а именно, на многокомпонентном виртуальном одевании, и предлагаем новый метод AnyDressing для настройки персонажей в зависимости от любой комбинации одежды и любых персонализированных текстовых подсказок. AnyDressing включает две основные сети, названные GarmentsNet и DressingNet, которые посвящены извлечению подробных характеристик одежды и генерации настраиваемых изображений. В частности, мы предлагаем эффективный и масштабируемый модуль, названный Извлекатель Характеристик, специфичных для Одежды, в GarmentsNet для индивидуального кодирования текстур одежды параллельно. Этот дизайн предотвращает путаницу с одеждой, обеспечивая при этом эффективность сети. Тем временем, мы разрабатываем адаптивный механизм Внимания к Одеванию и новую стратегию Обучения Локализации Одежды на Уровне Экземпляра в DressingNet для точного внедрения многокомпонентных характеристик в соответствующие области. Этот подход эффективно интегрирует текстурные подсказки многокомпонентной одежды в созданные изображения и дополнительно улучшает согласованность текста и изображения. Кроме того, мы вводим стратегию Обучения Текстуры, Улучшенной Одеждой для улучшения деталей текстуры одежды. Благодаря нашему хорошо продуманному дизайну, AnyDressing может служить в качестве подключаемого модуля для легкой интеграции с любыми расширениями управления сообществом для моделей диффузии, улучшая разнообразие и управляемость синтезированных изображений. Обширные эксперименты показывают, что AnyDressing достигает лучших результатов в своем классе.

English

Recent advances in garment-centric image generation from text and image prompts based on diffusion models are impressive. However, existing methods lack support for various combinations of attire, and struggle to preserve the garment details while maintaining faithfulness to the text prompts, limiting their performance across diverse scenarios. In this paper, we focus on a new task, i.e., Multi-Garment Virtual Dressing, and we propose a novel AnyDressing method for customizing characters conditioned on any combination of garments and any personalized text prompts. AnyDressing comprises two primary networks named GarmentsNet and DressingNet, which are respectively dedicated to extracting detailed clothing features and generating customized images. Specifically, we propose an efficient and scalable module called Garment-Specific Feature Extractor in GarmentsNet to individually encode garment textures in parallel. This design prevents garment confusion while ensuring network efficiency. Meanwhile, we design an adaptive Dressing-Attention mechanism and a novel Instance-Level Garment Localization Learning strategy in DressingNet to accurately inject multi-garment features into their corresponding regions. This approach efficiently integrates multi-garment texture cues into generated images and further enhances text-image consistency. Additionally, we introduce a Garment-Enhanced Texture Learning strategy to improve the fine-grained texture details of garments. Thanks to our well-craft design, AnyDressing can serve as a plug-in module to easily integrate with any community control extensions for diffusion models, improving the diversity and controllability of synthesized images. Extensive experiments show that AnyDressing achieves state-of-the-art results.