FastFit: Aceleración del Prueba Virtual Multi-Referencia mediante Modelos de Difusión Almacenables en Caché

Resumen

A pesar de su gran potencial, la tecnología de prueba virtual se ve limitada en su aplicación en el mundo real por dos desafíos principales: la incapacidad de los métodos actuales para soportar composiciones de atuendos multireferencia (que incluyen prendas y accesorios) y su notable ineficiencia causada por la recomputación redundante de características de referencia en cada paso de eliminación de ruido. Para abordar estos desafíos, proponemos FastFit, un marco de prueba virtual multireferencia de alta velocidad basado en una novedosa arquitectura de difusión con capacidad de almacenamiento en caché. Al emplear un mecanismo de Semi-Atención y sustituir las incrustaciones tradicionales de pasos de tiempo por incrustaciones de clase para los elementos de referencia, nuestro modelo desacopla completamente la codificación de características de referencia del proceso de eliminación de ruido con un sobrecarga de parámetros insignificante. Esto permite que las características de referencia se calculen una sola vez y se reutilicen sin pérdidas en todos los pasos, rompiendo fundamentalmente el cuello de botella de eficiencia y logrando una aceleración promedio de 3.5x en comparación con métodos similares. Además, para facilitar la investigación sobre la prueba virtual multireferencia compleja, presentamos DressCode-MR, un nuevo conjunto de datos a gran escala. Este comprende 28,179 conjuntos de imágenes de alta calidad y emparejadas que cubren cinco categorías clave (partes superiores, inferiores, vestidos, zapatos y bolsos), construidas mediante una canalización de modelos expertos y refinamiento con retroalimentación humana. Experimentos exhaustivos en los conjuntos de datos VITON-HD, DressCode y nuestro DressCode-MR muestran que FastFit supera a los métodos más avanzados en métricas clave de fidelidad, al tiempo que ofrece su ventaja significativa en eficiencia de inferencia.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit: Aceleración del Prueba Virtual Multi-Referencia mediante Modelos de Difusión Almacenables en Caché

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

Resumen

Support