FastFit : Accélération de l'essayage virtuel multi-référence via des modèles de diffusion exploitables en cache

papers.abstract

Malgré son grand potentiel, la technologie d'essayage virtuel est freinée dans son application pratique par deux défis majeurs : l'incapacité des méthodes actuelles à prendre en charge des compositions de tenues multi-références (incluant vêtements et accessoires), et leur inefficacité significative causée par la recomputation redondante des caractéristiques de référence à chaque étape de débruitage. Pour relever ces défis, nous proposons FastFit, un cadre d'essayage virtuel multi-références à haute vitesse basé sur une architecture de diffusion novatrice avec mise en cache. En employant un mécanisme de Semi-Attention et en substituant les embeddings traditionnels de pas de temps par des embeddings de classe pour les éléments de référence, notre modèle découple entièrement l'encodage des caractéristiques de référence du processus de débruitage avec une surcharge de paramètres négligeable. Cela permet aux caractéristiques de référence d'être calculées une seule fois et réutilisées sans perte à travers toutes les étapes, brisant fondamentalement le goulot d'étranglement de l'efficacité et offrant une accélération moyenne de 3,5x par rapport aux méthodes comparables. De plus, pour faciliter la recherche sur l'essayage virtuel complexe et multi-références, nous introduisons DressCode-MR, un nouveau jeu de données à grande échelle. Il comprend 28 179 ensembles d'images appariées de haute qualité couvrant cinq catégories clés (hauts, bas, robes, chaussures et sacs), construits à travers un pipeline de modèles experts et un raffinement par retour humain. Des expériences approfondies sur les jeux de données VITON-HD, DressCode et notre DressCode-MR montrent que FastFit surpasse les méthodes de pointe sur les principales métriques de fidélité tout en offrant son avantage significatif en termes d'efficacité d'inférence.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit : Accélération de l'essayage virtuel multi-référence via des modèles de diffusion exploitables en cache

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

papers.abstract

Support