FastFit: Accelerazione del Virtual Try-On Multi-Riferimento tramite Modelli di Diffusione Memorizzabili

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

August 28, 2025

Autori: Zheng Chong, Yanwei Lei, Shiyue Zhang, Zhuandi He, Zhen Wang, Xujie Zhang, Xiao Dong, Yiling Wu, Dongmei Jiang, Xiaodan Liang

cs.AI

Abstract

Nonostante il suo grande potenziale, la tecnologia di virtual try-on è ostacolata nell'applicazione pratica da due sfide principali: l'incapacità dei metodi attuali di supportare composizioni di outfit multi-riferimento (inclusi capi d'abbigliamento e accessori) e la loro significativa inefficienza causata dalla ridondante ri-calcolo delle caratteristiche di riferimento in ogni fase di denoising. Per affrontare queste sfide, proponiamo FastFit, un framework di virtual try-on multi-riferimento ad alta velocità basato su una nuova architettura di diffusione cacheable. Utilizzando un meccanismo di Semi-Attention e sostituendo i tradizionali embedding temporali con embedding di classe per gli elementi di riferimento, il nostro modello disaccoppia completamente la codifica delle caratteristiche di riferimento dal processo di denoising con un trascurabile sovraccarico di parametri. Ciò consente di calcolare le caratteristiche di riferimento una sola volta e di riutilizzarle senza perdite in tutti i passaggi, superando fondamentalmente il collo di bottiglia dell'efficienza e ottenendo un'accelerazione media di 3,5x rispetto ai metodi comparabili. Inoltre, per facilitare la ricerca sul virtual try-on complesso e multi-riferimento, introduciamo DressCode-MR, un nuovo dataset su larga scala. Esso comprende 28.179 set di immagini di alta qualità e accoppiate, che coprono cinque categorie chiave (top, pantaloni, abiti, scarpe e borse), costruiti attraverso una pipeline di modelli esperti e un perfezionamento basato sul feedback umano. Esperimenti estesi sui dataset VITON-HD, DressCode e il nostro DressCode-MR dimostrano che FastFit supera i metodi all'avanguardia nelle metriche chiave di fedeltà, offrendo al contempo un significativo vantaggio in termini di efficienza di inferenza.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.