FastFit: キャッシュ可能な拡散モデルによるマルチリファレンス仮想試着の高速化

要旨

その大きな可能性にもかかわらず、バーチャル試着技術は現実世界での応用において2つの主要な課題に阻まれている。それは、現在の手法が多参照の服装構成（衣類やアクセサリーを含む）をサポートできないこと、および各ノイズ除去ステップで参照特徴の冗長な再計算が行われることによる著しい非効率性である。これらの課題に対処するため、我々はFastFitを提案する。これは、新たなキャッシュ可能な拡散アーキテクチャに基づく高速多参照バーチャル試着フレームワークである。Semi-Attentionメカニズムを採用し、従来のタイムステップ埋め込みを参照アイテムのクラス埋め込みに置き換えることで、我々のモデルはノイズ除去プロセスから参照特徴エンコーディングを完全に分離し、パラメータオーバーヘッドを無視できるレベルに抑える。これにより、参照特徴は一度だけ計算され、すべてのステップでロスなく再利用されるため、効率のボトルネックを根本的に解消し、比較可能な手法に対して平均3.5倍の高速化を実現する。さらに、複雑な多参照バーチャル試着の研究を促進するため、我々はDressCode-MRという新たな大規模データセットを導入する。これは、5つの主要カテゴリ（トップス、ボトムス、ドレス、靴、バッグ）をカバーする28,179組の高品質なペア画像から構成され、専門家モデルと人間のフィードバックを組み合わせたパイプラインを通じて構築された。VITON-HD、DressCode、および我々のDressCode-MRデータセットでの広範な実験により、FastFitが主要な忠実度指標において最先端の手法を凌駕し、推論効率においてもその大きな優位性を提供することが示された。

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit: キャッシュ可能な拡散モデルによるマルチリファレンス仮想試着の高速化

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

要旨

Support