TryOffDiff：拡散モデルを用いた高精細衣類再構築によるバーチャル試着

TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models

November 27, 2024

著者: Riza Velioglu, Petra Bevandic, Robin Chan, Barbara Hammer

cs.AI

要旨

本論文では、仮想試着（VTOFF）という新しいタスクを紹介します。このタスクは、着衣した個人の単一写真から標準化された衣料品画像を生成することに焦点を当てています。従来の仮想試着（VTON）がモデルにデジタル的に服を着せるのに対し、VTOFFはカノニカルな衣料品画像を抽出することを目指しており、衣料品の形状、質感、複雑なパターンを捉えるという独自の課題があります。この明確に定義されたターゲットにより、VTOFFは生成モデルにおける再構成の忠実度を評価するのに特に効果的です。私たちは、高い忠実度と詳細の保持を確実にするために、Stable DiffusionとSigLIPベースのビジュアルコンディショニングを採用したTryOffDiffモデルを提案します。改良されたVITON-HDデータセットでの実験では、当社のアプローチがポーズ転送や仮想試着に基づくベースライン手法を上回り、より少ない前処理および後処理ステップであることが示されました。私たちの分析により、従来の画像生成メトリクスが再構成の品質を不適切に評価していることが明らかになり、より正確な評価のためにDISTSに頼る必要があることが示されました。当社の結果は、VTOFFがeコマースアプリケーションにおける製品画像を向上させ、生成モデルの評価を前進させ、高忠実度の再構成に関する将来の研究を促す潜在能力を強調しています。デモ、コード、モデルは以下で入手可能です：https://rizavelioglu.github.io/tryoffdiff/

English

This paper introduces Virtual Try-Off (VTOFF), a novel task focused on generating standardized garment images from single photos of clothed individuals. Unlike traditional Virtual Try-On (VTON), which digitally dresses models, VTOFF aims to extract a canonical garment image, posing unique challenges in capturing garment shape, texture, and intricate patterns. This well-defined target makes VTOFF particularly effective for evaluating reconstruction fidelity in generative models. We present TryOffDiff, a model that adapts Stable Diffusion with SigLIP-based visual conditioning to ensure high fidelity and detail retention. Experiments on a modified VITON-HD dataset show that our approach outperforms baseline methods based on pose transfer and virtual try-on with fewer pre- and post-processing steps. Our analysis reveals that traditional image generation metrics inadequately assess reconstruction quality, prompting us to rely on DISTS for more accurate evaluation. Our results highlight the potential of VTOFF to enhance product imagery in e-commerce applications, advance generative model evaluation, and inspire future work on high-fidelity reconstruction. Demo, code, and models are available at: https://rizavelioglu.github.io/tryoffdiff/