DreamVVT: Padroneggiare il Virtual Try-On Realistico nei Video in Ambiente Naturale attraverso un Framework a Trasformatore Diffusivo a Stadi

DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework

August 4, 2025

Autori: Tongchun Zuo, Zaiyu Huang, Shuliang Ning, Ente Lin, Chao Liang, Zerong Zheng, Jianwen Jiang, Yuan Zhang, Mingyuan Gao, Xin Dong

cs.AI

Abstract

La tecnologia di virtual try-on video (VVT) ha attirato un notevole interesse accademico grazie alle sue promettenti applicazioni nella pubblicità e-commerce e nell'intrattenimento. Tuttavia, la maggior parte dei metodi end-to-end esistenti si basa fortemente su dataset scarsi e accoppiati incentrati sui capi d'abbigliamento e non riesce a sfruttare efficacemente i priori dei modelli visivi avanzati e degli input al momento del test, rendendo difficile preservare accuratamente i dettagli fini dei capi e mantenere la coerenza temporale in scenari non vincolati. Per affrontare queste sfide, proponiamo DreamVVT, un framework a due stadi progettato con cura basato su Diffusion Transformers (DiTs), che è intrinsecamente in grado di sfruttare dati eterogenei e non accoppiati incentrati sull'uomo per migliorare l'adattabilità negli scenari reali. Per sfruttare ulteriormente la conoscenza a priori dei modelli pre-addestrati e degli input al momento del test, nella prima fase campioniamo frame rappresentativi dal video di input e utilizziamo un modello multi-frame try-on integrato con un modello vision-language (VLM), per sintetizzare immagini try-on di keyframe ad alta fedeltà e semanticamente coerenti. Queste immagini servono come guida complementare per l'aspetto nella successiva generazione video. Nella seconda fase, le mappe scheletriche insieme a descrizioni fini del movimento e dell'aspetto vengono estratte dal contenuto di input, e queste insieme alle immagini try-on dei keyframe vengono poi alimentate in un modello di generazione video pre-addestrato potenziato con adattatori LoRA. Ciò garantisce una coerenza temporale a lungo termine per le regioni non viste e consente movimenti dinamici altamente plausibili. Estesi esperimenti quantitativi e qualitativi dimostrano che DreamVVT supera i metodi esistenti nel preservare il contenuto dettagliato dei capi e la stabilità temporale in scenari reali. La nostra pagina del progetto è disponibile all'indirizzo https://virtu-lab.github.io/

English

Video virtual try-on (VVT) technology has garnered considerable academic interest owing to its promising applications in e-commerce advertising and entertainment. However, most existing end-to-end methods rely heavily on scarce paired garment-centric datasets and fail to effectively leverage priors of advanced visual models and test-time inputs, making it challenging to accurately preserve fine-grained garment details and maintain temporal consistency in unconstrained scenarios. To address these challenges, we propose DreamVVT, a carefully designed two-stage framework built upon Diffusion Transformers (DiTs), which is inherently capable of leveraging diverse unpaired human-centric data to enhance adaptability in real-world scenarios. To further leverage prior knowledge from pretrained models and test-time inputs, in the first stage, we sample representative frames from the input video and utilize a multi-frame try-on model integrated with a vision-language model (VLM), to synthesize high-fidelity and semantically consistent keyframe try-on images. These images serve as complementary appearance guidance for subsequent video generation. In the second stage, skeleton maps together with fine-grained motion and appearance descriptions are extracted from the input content, and these along with the keyframe try-on images are then fed into a pretrained video generation model enhanced with LoRA adapters. This ensures long-term temporal coherence for unseen regions and enables highly plausible dynamic motions. Extensive quantitative and qualitative experiments demonstrate that DreamVVT surpasses existing methods in preserving detailed garment content and temporal stability in real-world scenarios. Our project page https://virtu-lab.github.io/