FastFit: Versnelling van Multi-Reference Virtuele Passessies via Cachebare Diffusiemodellen

Samenvatting

Ondanks het grote potentieel wordt de toepassing van virtual try-on technologie in de praktijk belemmerd door twee grote uitdagingen: het onvermogen van huidige methoden om multi-referentie outfitcomposities (inclusief kledingstukken en accessoires) te ondersteunen, en hun aanzienlijke inefficiëntie veroorzaakt door de overbodige herberekening van referentiefuncties in elke denoising stap. Om deze uitdagingen aan te pakken, stellen we FastFit voor, een hoogwaardig multi-referentie virtual try-on framework gebaseerd op een nieuwe cachebare diffusie-architectuur. Door gebruik te maken van een Semi-Attention mechanisme en traditionele timestep embeddings te vervangen door class embeddings voor referentie-items, ontkoppelt ons model de codering van referentiefuncties volledig van het denoising proces met een verwaarloosbare parameteroverhead. Hierdoor kunnen referentiefuncties slechts één keer worden berekend en verliesloos worden hergebruikt in alle stappen, waardoor de efficiëntiebeperking fundamenteel wordt doorbroken en een gemiddelde snelheidswinst van 3,5x ten opzichte van vergelijkbare methoden wordt bereikt. Bovendien introduceren we, om onderzoek naar complexe, multi-referentie virtual try-on te faciliteren, DressCode-MR, een nieuwe grootschalige dataset. Deze bestaat uit 28.179 sets van hoogwaardige, gepaarde afbeeldingen die vijf belangrijke categorieën omvatten (tops, broeken, jurken, schoenen en tassen), samengesteld via een pijplijn van expertmodellen en verfijning door menselijke feedback. Uitgebreide experimenten op de VITON-HD, DressCode en onze DressCode-MR datasets tonen aan dat FastFit state-of-the-art methoden overtreft op belangrijke kwaliteitsmetrieken, terwijl het een aanzienlijk voordeel biedt in inferentie-efficiëntie.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit: Versnelling van Multi-Reference Virtuele Passessies via Cachebare Diffusiemodellen

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

Samenvatting

Support