Any2AnyTryon: Использование адаптивных позиционных вложений для разнообразных задач виртуальной одежды

Any2AnyTryon: Leveraging Adaptive Position Embeddings for Versatile Virtual Clothing Tasks

January 27, 2025

Авторы: Hailong Guo, Bohan Zeng, Yiren Song, Wentao Zhang, Chuang Zhang, Jiaming Liu

cs.AI

Аннотация

Виртуальная примерка на основе изображений (VTON) направлена на создание виртуального примерочного результата путем передачи входной одежды на изображение целевого человека. Однако недостаток сопоставленных данных одежда-модель затрудняет существующим методам достижение высокой обобщаемости и качества в VTON. Это также ограничивает возможность создания примерок без масок. Для решения проблемы нехватки данных подходы, такие как Stable Garment и MMTryon, используют стратегию синтетических данных, эффективно увеличивая количество сопоставленных данных на стороне модели. Однако существующие методы обычно ограничиваются выполнением конкретных задач примерки и лишены удобства использования. Для улучшения обобщаемости и управляемости генерации VTON мы предлагаем Any2AnyTryon, способный создавать результаты примерки на основе различных текстовых инструкций и изображений модельной одежды для удовлетворения различных потребностей, устраняя зависимость от масок, поз или других условий. Конкретно, мы сначала создаем набор данных виртуальной примерки LAION-Garment, самый крупный известный открытый набор данных для виртуальной примерки одежды. Затем мы вводим адаптивное позиционное вложение, которое позволяет модели создавать удовлетворительные изображения модели в одежде или изображения одежды на основе входных изображений различных размеров и категорий, значительно улучшая обобщаемость и управляемость генерации VTON. В наших экспериментах мы демонстрируем эффективность нашего Any2AnyTryon и сравниваем его с существующими методами. Результаты показывают, что Any2AnyTryon обеспечивает гибкую, управляемую и качественную генерацию виртуальной примерки на основе изображений.

English

Image-based virtual try-on (VTON) aims to generate a virtual try-on result by transferring an input garment onto a target person's image. However, the scarcity of paired garment-model data makes it challenging for existing methods to achieve high generalization and quality in VTON. Also, it limits the ability to generate mask-free try-ons. To tackle the data scarcity problem, approaches such as Stable Garment and MMTryon use a synthetic data strategy, effectively increasing the amount of paired data on the model side. However, existing methods are typically limited to performing specific try-on tasks and lack user-friendliness. To enhance the generalization and controllability of VTON generation, we propose Any2AnyTryon, which can generate try-on results based on different textual instructions and model garment images to meet various needs, eliminating the reliance on masks, poses, or other conditions. Specifically, we first construct the virtual try-on dataset LAION-Garment, the largest known open-source garment try-on dataset. Then, we introduce adaptive position embedding, which enables the model to generate satisfactory outfitted model images or garment images based on input images of different sizes and categories, significantly enhancing the generalization and controllability of VTON generation. In our experiments, we demonstrate the effectiveness of our Any2AnyTryon and compare it with existing methods. The results show that Any2AnyTryon enables flexible, controllable, and high-quality image-based virtual try-on generation.https://logn-2024.github.io/Any2anyTryonProjectPage/