TryOffDiff: Виртуальная примерка через реконструкцию одежды высокой точности с использованием моделей диффузии

TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models

November 27, 2024

Авторы: Riza Velioglu, Petra Bevandic, Robin Chan, Barbara Hammer

cs.AI

Аннотация

Этот документ представляет Virtual Try-Off (VTOFF), новую задачу, сосредоточенную на создании стандартизированных изображений одежды из одиночных фотографий одетых людей. В отличие от традиционного Virtual Try-On (VTON), который цифрово одевает моделей, VTOFF нацелен на извлечение канонического изображения одежды, что представляет уникальные вызовы в захвате формы одежды, текстуры и сложных узоров. Эта четко определенная цель делает VTOFF особенно эффективным для оценки точности восстановления в генеративных моделях. Мы представляем TryOffDiff, модель, которая адаптирует Stable Diffusion с визуальным условием на основе SigLIP для обеспечения высокой точности и сохранения деталей. Эксперименты на модифицированном наборе данных VITON-HD показывают, что наш подход превосходит базовые методы на основе передачи позы и виртуальной примерки с меньшим количеством предварительной и последующей обработки. Наш анализ показывает, что традиционные метрики генерации изображений недостаточно оценивают качество восстановления, что заставляет нас полагаться на DISTS для более точной оценки. Наши результаты подчеркивают потенциал VTOFF для улучшения изображений продуктов в приложениях электронной коммерции, продвижения оценки генеративных моделей и вдохновения на будущие работы по восстановлению высокой точности. Демонстрация, код и модели доступны по адресу: https://rizavelioglu.github.io/tryoffdiff/

English

This paper introduces Virtual Try-Off (VTOFF), a novel task focused on generating standardized garment images from single photos of clothed individuals. Unlike traditional Virtual Try-On (VTON), which digitally dresses models, VTOFF aims to extract a canonical garment image, posing unique challenges in capturing garment shape, texture, and intricate patterns. This well-defined target makes VTOFF particularly effective for evaluating reconstruction fidelity in generative models. We present TryOffDiff, a model that adapts Stable Diffusion with SigLIP-based visual conditioning to ensure high fidelity and detail retention. Experiments on a modified VITON-HD dataset show that our approach outperforms baseline methods based on pose transfer and virtual try-on with fewer pre- and post-processing steps. Our analysis reveals that traditional image generation metrics inadequately assess reconstruction quality, prompting us to rely on DISTS for more accurate evaluation. Our results highlight the potential of VTOFF to enhance product imagery in e-commerce applications, advance generative model evaluation, and inspire future work on high-fidelity reconstruction. Demo, code, and models are available at: https://rizavelioglu.github.io/tryoffdiff/