DreamVVT: Beherrschung realistischer Video-Virtual-Try-Ons in der Praxis durch ein stufenweises Diffusions-Transformer-Framework

DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework

August 4, 2025

papers.authors: Tongchun Zuo, Zaiyu Huang, Shuliang Ning, Ente Lin, Chao Liang, Zerong Zheng, Jianwen Jiang, Yuan Zhang, Mingyuan Gao, Xin Dong

cs.AI

papers.abstract

Die Video-Virtual-Try-On-Technologie (VVT) hat aufgrund ihrer vielversprechenden Anwendungen im E-Commerce-Werbung und Unterhaltungsbereich erhebliches akademisches Interesse geweckt. Die meisten bestehenden End-to-End-Methoden stützen sich jedoch stark auf knappe, paarweise Datensätze mit Kleidungsfokus und nutzen die Prioritäten fortgeschrittener visueller Modelle und Testzeit-Eingaben nicht effektiv, was es schwierig macht, fein abgestimmte Kleidungsdetails genau zu bewahren und zeitliche Konsistenz in unbegrenzten Szenarien aufrechtzuerhalten. Um diese Herausforderungen zu bewältigen, schlagen wir DreamVVT vor, ein sorgfältig entworfenes zweistufiges Framework, das auf Diffusion Transformers (DiTs) basiert und von Natur aus in der Lage ist, diverse ungepaarte, menschenzentrierte Daten zu nutzen, um die Anpassungsfähigkeit in realen Szenarien zu verbessern. Um Vorwissen aus vortrainierten Modellen und Testzeit-Eingaben weiter zu nutzen, werden im ersten Stadium repräsentative Frames aus dem Eingabevideo ausgewählt und ein Multi-Frame-Try-On-Modell, das mit einem Vision-Language-Modell (VLM) integriert ist, verwendet, um hochauflösende und semantisch konsistente Keyframe-Try-On-Bilder zu synthetisieren. Diese Bilder dienen als ergänzende Erscheinungsführung für die nachfolgende Videogenerierung. Im zweiten Stadium werden Skelettkarten zusammen mit fein abgestimmten Bewegungs- und Erscheinungsbeschreibungen aus dem Eingabeinhalt extrahiert, und diese werden zusammen mit den Keyframe-Try-On-Bildern in ein vortrainiertes Videogenerierungsmodell eingespeist, das mit LoRA-Adaptern verbessert wurde. Dies gewährleistet langfristige zeitliche Kohärenz für ungesehene Regionen und ermöglicht hoch plausible dynamische Bewegungen. Umfangreiche quantitative und qualitative Experimente zeigen, dass DreamVVT bestehende Methoden in der Bewahrung detaillierter Kleidungsinhalte und zeitlicher Stabilität in realen Szenarien übertrifft. Unsere Projektseite https://virtu-lab.github.io/

English

Video virtual try-on (VVT) technology has garnered considerable academic interest owing to its promising applications in e-commerce advertising and entertainment. However, most existing end-to-end methods rely heavily on scarce paired garment-centric datasets and fail to effectively leverage priors of advanced visual models and test-time inputs, making it challenging to accurately preserve fine-grained garment details and maintain temporal consistency in unconstrained scenarios. To address these challenges, we propose DreamVVT, a carefully designed two-stage framework built upon Diffusion Transformers (DiTs), which is inherently capable of leveraging diverse unpaired human-centric data to enhance adaptability in real-world scenarios. To further leverage prior knowledge from pretrained models and test-time inputs, in the first stage, we sample representative frames from the input video and utilize a multi-frame try-on model integrated with a vision-language model (VLM), to synthesize high-fidelity and semantically consistent keyframe try-on images. These images serve as complementary appearance guidance for subsequent video generation. In the second stage, skeleton maps together with fine-grained motion and appearance descriptions are extracted from the input content, and these along with the keyframe try-on images are then fed into a pretrained video generation model enhanced with LoRA adapters. This ensures long-term temporal coherence for unseen regions and enables highly plausible dynamic motions. Extensive quantitative and qualitative experiments demonstrate that DreamVVT surpasses existing methods in preserving detailed garment content and temporal stability in real-world scenarios. Our project page https://virtu-lab.github.io/