CatV2TON: Addomesticare i Trasformatori di Diffusione per il Virtual Try-On basato sulla Visione con Concatenazione Temporale

CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation

January 20, 2025

Autori: Zheng Chong, Wenqing Zhang, Shiyue Zhang, Jun Zheng, Xiao Dong, Haoxiang Li, Yiling Wu, Dongmei Jiang, Xiaodan Liang

cs.AI

Abstract

La tecnologia di prova virtuale (VTON) ha attirato l'attenzione per il suo potenziale nel trasformare il commercio online consentendo una visualizzazione realistica dell'abbigliamento tramite immagini e video. Tuttavia, la maggior parte dei metodi esistenti fatica a ottenere risultati di alta qualità nelle attività di prova di immagini e video, specialmente in scenari di video lunghi. In questo lavoro, presentiamo CatV2TON, un metodo di prova virtuale basato sulla visione (V2TON) semplice ed efficace che supporta sia le attività di prova di immagini che di video con un singolo modello trasformatore a diffusione. Concatenando temporalmente gli input di indumenti e persone e addestrandosi su un mix di set di dati di immagini e video, CatV2TON raggiunge prestazioni di prova robuste in impostazioni statiche e dinamiche. Per una generazione efficiente di video lunghi, proponiamo una strategia di inferenza basata su clip sovrapposte che utilizza una guida di frame sequenziale e la Normalizzazione Adattiva delle Clip (AdaCN) per mantenere la coerenza temporale con minori richieste di risorse. Presentiamo inoltre ViViD-S, un dataset raffinato di prova video, ottenuto filtrando i frame rivolti all'indietro e applicando un'ottimizzazione della maschera 3D per una maggiore coerenza temporale. Esperimenti completi dimostrano che CatV2TON supera i metodi esistenti sia nelle attività di prova di immagini che di video, offrendo una soluzione versatile e affidabile per prove virtuali realistiche in scenari diversi.

English

Virtual try-on (VTON) technology has gained attention due to its potential to transform online retail by enabling realistic clothing visualization of images and videos. However, most existing methods struggle to achieve high-quality results across image and video try-on tasks, especially in long video scenarios. In this work, we introduce CatV2TON, a simple and effective vision-based virtual try-on (V2TON) method that supports both image and video try-on tasks with a single diffusion transformer model. By temporally concatenating garment and person inputs and training on a mix of image and video datasets, CatV2TON achieves robust try-on performance across static and dynamic settings. For efficient long-video generation, we propose an overlapping clip-based inference strategy that uses sequential frame guidance and Adaptive Clip Normalization (AdaCN) to maintain temporal consistency with reduced resource demands. We also present ViViD-S, a refined video try-on dataset, achieved by filtering back-facing frames and applying 3D mask smoothing for enhanced temporal consistency. Comprehensive experiments demonstrate that CatV2TON outperforms existing methods in both image and video try-on tasks, offering a versatile and reliable solution for realistic virtual try-ons across diverse scenarios.