CatV2TON: Domando los Transformadores de Difusión para Pruebas Virtuales de Vestimenta basadas en Visión con Concatenación Temporal

CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation

January 20, 2025

Autores: Zheng Chong, Wenqing Zhang, Shiyue Zhang, Jun Zheng, Xiao Dong, Haoxiang Li, Yiling Wu, Dongmei Jiang, Xiaodan Liang

cs.AI

Resumen

La tecnología de prueba virtual (VTON) ha llamado la atención debido a su potencial para transformar el comercio minorista en línea al permitir la visualización realista de ropa en imágenes y videos. Sin embargo, la mayoría de los métodos existentes luchan por lograr resultados de alta calidad en tareas de prueba de imagen y video, especialmente en escenarios de video largos. En este trabajo, presentamos CatV2TON, un método simple y efectivo de prueba virtual basado en visión (V2TON) que soporta tanto tareas de prueba de imagen como de video con un solo modelo de transformador de difusión. Al concatenar temporalmente las entradas de la prenda y la persona y entrenar con una combinación de conjuntos de datos de imagen y video, CatV2TON logra un rendimiento de prueba sólido en entornos estáticos y dinámicos. Para una generación eficiente de videos largos, proponemos una estrategia de inferencia basada en clips superpuestos que utiliza orientación de fotogramas secuenciales y Normalización de Clip Adaptativa (AdaCN) para mantener la consistencia temporal con una demanda de recursos reducida. También presentamos ViViD-S, un conjunto de datos refinado de prueba de video, logrado mediante la filtración de fotogramas de espalda y la aplicación de suavizado de máscara 3D para una mayor consistencia temporal. Experimentos exhaustivos demuestran que CatV2TON supera a los métodos existentes tanto en tareas de prueba de imagen como de video, ofreciendo una solución versátil y confiable para pruebas virtuales realistas en diversos escenarios.

English

Virtual try-on (VTON) technology has gained attention due to its potential to transform online retail by enabling realistic clothing visualization of images and videos. However, most existing methods struggle to achieve high-quality results across image and video try-on tasks, especially in long video scenarios. In this work, we introduce CatV2TON, a simple and effective vision-based virtual try-on (V2TON) method that supports both image and video try-on tasks with a single diffusion transformer model. By temporally concatenating garment and person inputs and training on a mix of image and video datasets, CatV2TON achieves robust try-on performance across static and dynamic settings. For efficient long-video generation, we propose an overlapping clip-based inference strategy that uses sequential frame guidance and Adaptive Clip Normalization (AdaCN) to maintain temporal consistency with reduced resource demands. We also present ViViD-S, a refined video try-on dataset, achieved by filtering back-facing frames and applying 3D mask smoothing for enhanced temporal consistency. Comprehensive experiments demonstrate that CatV2TON outperforms existing methods in both image and video try-on tasks, offering a versatile and reliable solution for realistic virtual try-ons across diverse scenarios.