FastFit: Beschleunigung des Multi-Referenz-Virtual-Try-Ons durch cachefähige Diffusionsmodelle

papers.abstract

Trotz seines großen Potenzials wird die virtuelle Anprobe-Technologie durch zwei wesentliche Herausforderungen an der praktischen Anwendung gehindert: die Unfähigkeit aktueller Methoden, Multi-Referenz-Outfit-Kompositionen (einschließlich Kleidungsstücken und Accessoires) zu unterstützen, und ihre erhebliche Ineffizienz, die durch die redundante Neuberechnung von Referenzmerkmalen in jedem Denoising-Schritt verursacht wird. Um diese Herausforderungen zu bewältigen, schlagen wir FastFit vor, ein hochgeschwindigkeitsfähiges Multi-Referenz-Virtual-Try-On-Framework, das auf einer neuartigen cachefähigen Diffusionsarchitektur basiert. Durch den Einsatz eines Semi-Attention-Mechanismus und den Ersatz traditioneller Zeitschritt-Embeddings durch Klassen-Embeddings für Referenzartikel entkoppelt unser Modell die Referenzmerkmalcodierung vollständig vom Denoising-Prozess mit vernachlässigbarem Parameteroverhead. Dies ermöglicht es, Referenzmerkmale nur einmal zu berechnen und verlustfrei über alle Schritte hinweg wiederzuverwenden, wodurch der Effizienzengpass grundlegend durchbrochen und eine durchschnittliche Beschleunigung um das 3,5-fache gegenüber vergleichbaren Methoden erreicht wird. Darüber hinaus führen wir DressCode-MR ein, einen neuen groß angelegten Datensatz, um die Forschung zu komplexen Multi-Referenz-Virtual-Try-Ons zu erleichtern. Er umfasst 28.179 Sätze hochwertiger, gepaarter Bilder, die fünf Schlüsselkategorien abdecken (Oberteile, Hosen, Kleider, Schuhe und Taschen) und durch eine Pipeline von Expertenmodellen und menschlicher Feedback-Verfeinerung erstellt wurden. Umfangreiche Experimente auf den Datensätzen VITON-HD, DressCode und unserem DressCode-MR zeigen, dass FastFit die besten Methoden in Bezug auf wichtige Treue-Metriken übertrifft und dabei seinen erheblichen Vorteil in der Inferenzeffizienz bietet.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit: Beschleunigung des Multi-Referenz-Virtual-Try-Ons durch cachefähige Diffusionsmodelle

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

papers.abstract

Support