DreamVVT : Maîtriser l'essayage virtuel vidéo réaliste en conditions réelles grâce à un cadre de transformateur à diffusion par étapes

DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework

August 4, 2025

papers.authors: Tongchun Zuo, Zaiyu Huang, Shuliang Ning, Ente Lin, Chao Liang, Zerong Zheng, Jianwen Jiang, Yuan Zhang, Mingyuan Gao, Xin Dong

cs.AI

papers.abstract

La technologie d'essayage virtuel vidéo (VVT) a suscité un intérêt académique considérable en raison de ses applications prometteuses dans la publicité e-commerce et le divertissement. Cependant, la plupart des méthodes end-to-end existantes reposent fortement sur des ensembles de données appariés centrés sur les vêtements, qui sont rares, et ne parviennent pas à exploiter efficacement les connaissances préalables des modèles visuels avancés et des entrées au moment du test, ce qui rend difficile la préservation précise des détails fins des vêtements et le maintien de la cohérence temporelle dans des scénarios non contraints. Pour relever ces défis, nous proposons DreamVVT, un cadre en deux étapes soigneusement conçu, basé sur les Transformers de Diffusion (DiTs), qui est intrinsèquement capable d'exploiter des données non appariées centrées sur l'humain pour améliorer l'adaptabilité dans des scénarios réels. Pour exploiter davantage les connaissances préalables des modèles pré-entraînés et des entrées au moment du test, dans la première étape, nous échantillonnons des images représentatives de la vidéo d'entrée et utilisons un modèle d'essayage multi-images intégré à un modèle vision-langage (VLM) pour synthétiser des images d'essayage de haute fidélité et sémantiquement cohérentes. Ces images servent de guide d'apparence complémentaire pour la génération vidéo ultérieure. Dans la deuxième étape, des cartes de squelette ainsi que des descriptions fines du mouvement et de l'apparence sont extraites du contenu d'entrée, et celles-ci, ainsi que les images d'essayage clés, sont ensuite introduites dans un modèle de génération vidéo pré-entraîné amélioré avec des adaptateurs LoRA. Cela assure une cohérence temporelle à long terme pour les régions non vues et permet des mouvements dynamiques hautement plausibles. Des expériences quantitatives et qualitatives approfondies démontrent que DreamVVT surpasse les méthodes existantes en préservant le contenu détaillé des vêtements et la stabilité temporelle dans des scénarios réels. Notre page de projet est disponible à l'adresse https://virtu-lab.github.io/

English

Video virtual try-on (VVT) technology has garnered considerable academic interest owing to its promising applications in e-commerce advertising and entertainment. However, most existing end-to-end methods rely heavily on scarce paired garment-centric datasets and fail to effectively leverage priors of advanced visual models and test-time inputs, making it challenging to accurately preserve fine-grained garment details and maintain temporal consistency in unconstrained scenarios. To address these challenges, we propose DreamVVT, a carefully designed two-stage framework built upon Diffusion Transformers (DiTs), which is inherently capable of leveraging diverse unpaired human-centric data to enhance adaptability in real-world scenarios. To further leverage prior knowledge from pretrained models and test-time inputs, in the first stage, we sample representative frames from the input video and utilize a multi-frame try-on model integrated with a vision-language model (VLM), to synthesize high-fidelity and semantically consistent keyframe try-on images. These images serve as complementary appearance guidance for subsequent video generation. In the second stage, skeleton maps together with fine-grained motion and appearance descriptions are extracted from the input content, and these along with the keyframe try-on images are then fed into a pretrained video generation model enhanced with LoRA adapters. This ensures long-term temporal coherence for unseen regions and enables highly plausible dynamic motions. Extensive quantitative and qualitative experiments demonstrate that DreamVVT surpasses existing methods in preserving detailed garment content and temporal stability in real-world scenarios. Our project page https://virtu-lab.github.io/