CatV2TON : Apprivoiser les transformateurs de diffusion pour l'essayage virtuel basé sur la vision avec concaténation temporelle

CatV2TON: Taming Diffusion Transformers for Vision-Based Virtual Try-On with Temporal Concatenation

January 20, 2025

Auteurs: Zheng Chong, Wenqing Zhang, Shiyue Zhang, Jun Zheng, Xiao Dong, Haoxiang Li, Yiling Wu, Dongmei Jiang, Xiaodan Liang

cs.AI

Résumé

La technologie d'essayage virtuel (VTON) a attiré l'attention en raison de son potentiel de transformer le commerce en ligne en permettant une visualisation réaliste des vêtements sur des images et des vidéos. Cependant, la plupart des méthodes existantes peinent à obtenir des résultats de haute qualité pour les tâches d'essayage d'images et de vidéos, en particulier dans des scénarios de longues vidéos. Dans ce travail, nous introduisons CatV2TON, une méthode d'essayage virtuel (V2TON) basée sur la vision, simple et efficace, qui prend en charge à la fois les tâches d'essayage d'images et de vidéos avec un seul modèle de transformateur de diffusion. En concaténant temporellement les entrées de vêtements et de personnes et en s'entraînant sur un mélange de jeux de données d'images et de vidéos, CatV2TON atteint des performances d'essayage robustes dans des environnements statiques et dynamiques. Pour une génération efficace de longues vidéos, nous proposons une stratégie d'inférence basée sur des clips superposés qui utilise un guidage par trame séquentielle et une Normalisation Adaptative des Clips (AdaCN) pour maintenir une cohérence temporelle avec des exigences en ressources réduites. Nous présentons également ViViD-S, un ensemble de données d'essayage vidéo affiné, obtenu en filtrant les trames tournées vers l'arrière et en appliquant un lissage de masque 3D pour une cohérence temporelle améliorée. Des expériences approfondies démontrent que CatV2TON surpasse les méthodes existantes dans les tâches d'essayage d'images et de vidéos, offrant une solution polyvalente et fiable pour des essayages virtuels réalistes dans divers scénarios.

English

Virtual try-on (VTON) technology has gained attention due to its potential to transform online retail by enabling realistic clothing visualization of images and videos. However, most existing methods struggle to achieve high-quality results across image and video try-on tasks, especially in long video scenarios. In this work, we introduce CatV2TON, a simple and effective vision-based virtual try-on (V2TON) method that supports both image and video try-on tasks with a single diffusion transformer model. By temporally concatenating garment and person inputs and training on a mix of image and video datasets, CatV2TON achieves robust try-on performance across static and dynamic settings. For efficient long-video generation, we propose an overlapping clip-based inference strategy that uses sequential frame guidance and Adaptive Clip Normalization (AdaCN) to maintain temporal consistency with reduced resource demands. We also present ViViD-S, a refined video try-on dataset, achieved by filtering back-facing frames and applying 3D mask smoothing for enhanced temporal consistency. Comprehensive experiments demonstrate that CatV2TON outperforms existing methods in both image and video try-on tasks, offering a versatile and reliable solution for realistic virtual try-ons across diverse scenarios.