FastFit: Ускорение виртуальной примерки с несколькими эталонами с помощью кэшируемых диффузионных моделей

Аннотация

Несмотря на огромный потенциал, технология виртуальной примерки сталкивается с двумя основными проблемами, препятствующими её практическому применению: неспособность современных методов поддерживать композиции нарядов с использованием нескольких элементов (включая одежду и аксессуары) и их значительная неэффективность, вызванная избыточным пересчётом характеристик элементов на каждом шаге шумоподавления. Для решения этих проблем мы предлагаем FastFit — высокоскоростную платформу для виртуальной примерки с поддержкой нескольких элементов, основанную на новой кэшируемой архитектуре диффузии. Благодаря использованию механизма Semi-Attention и замене традиционных временных эмбеддингов на эмбеддинги классов для элементов, наша модель полностью разделяет кодирование характеристик элементов и процесс шумоподавления с минимальными затратами на параметры. Это позволяет вычислять характеристики элементов только один раз и повторно использовать их без потерь на всех этапах, что принципиально устраняет узкое место в эффективности и обеспечивает ускорение в среднем в 3,5 раза по сравнению с аналогичными методами. Кроме того, для содействия исследованиям в области сложной виртуальной примерки с несколькими элементами мы представляем DressCode-MR — новый крупномасштабный набор данных. Он включает 28 179 наборов высококачественных парных изображений, охватывающих пять ключевых категорий (верхняя одежда, нижняя одежда, платья, обувь и сумки), созданных с использованием конвейера экспертных моделей и уточнения на основе обратной связи от людей. Многочисленные эксперименты на наборах данных VITON-HD, DressCode и нашем DressCode-MR показывают, что FastFit превосходит современные методы по ключевым метрикам качества, одновременно предлагая значительное преимущество в эффективности вывода.

English

Despite its great potential, virtual try-on technology is hindered from real-world application by two major challenges: the inability of current methods to support multi-reference outfit compositions (including garments and accessories), and their significant inefficiency caused by the redundant re-computation of reference features in each denoising step. To address these challenges, we propose FastFit, a high-speed multi-reference virtual try-on framework based on a novel cacheable diffusion architecture. By employing a Semi-Attention mechanism and substituting traditional timestep embeddings with class embeddings for reference items, our model fully decouples reference feature encoding from the denoising process with negligible parameter overhead. This allows reference features to be computed only once and losslessly reused across all steps, fundamentally breaking the efficiency bottleneck and achieving an average 3.5x speedup over comparable methods. Furthermore, to facilitate research on complex, multi-reference virtual try-on, we introduce DressCode-MR, a new large-scale dataset. It comprises 28,179 sets of high-quality, paired images covering five key categories (tops, bottoms, dresses, shoes, and bags), constructed through a pipeline of expert models and human feedback refinement. Extensive experiments on the VITON-HD, DressCode, and our DressCode-MR datasets show that FastFit surpasses state-of-the-art methods on key fidelity metrics while offering its significant advantage in inference efficiency.

FastFit: Ускорение виртуальной примерки с несколькими эталонами с помощью кэшируемых диффузионных моделей

FastFit: Accelerating Multi-Reference Virtual Try-On via Cacheable Diffusion Models

Аннотация

Support