DreamVVT: Dominando o Try-On Virtual Realista em Vídeos no Mundo Real através de uma Estrutura de Transformador de Difusão em Estágios

DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework

August 4, 2025

Autores: Tongchun Zuo, Zaiyu Huang, Shuliang Ning, Ente Lin, Chao Liang, Zerong Zheng, Jianwen Jiang, Yuan Zhang, Mingyuan Gao, Xin Dong

cs.AI

Resumo

A tecnologia de experimentação virtual em vídeo (VVT) tem despertado um considerável interesse acadêmico devido às suas aplicações promissoras em publicidade de e-commerce e entretenimento. No entanto, a maioria dos métodos end-to-end existentes depende fortemente de conjuntos de dados escassos e centrados em peças de vestuário, falhando em aproveitar efetivamente os conhecimentos prévios de modelos visuais avançados e entradas em tempo de teste, o que torna desafiador preservar com precisão detalhes refinados das peças e manter a consistência temporal em cenários não restritos. Para enfrentar esses desafios, propomos o DreamVVT, uma estrutura de duas etapas cuidadosamente projetada, baseada em Transformers de Difusão (DiTs), que é intrinsecamente capaz de aproveitar diversos dados não pareados centrados em humanos para melhorar a adaptabilidade em cenários do mundo real. Para aproveitar ainda mais o conhecimento prévio de modelos pré-treinados e entradas em tempo de teste, na primeira etapa, amostramos quadros representativos do vídeo de entrada e utilizamos um modelo de experimentação multi-quadro integrado a um modelo de visão e linguagem (VLM), para sintetizar imagens de experimentação de quadros-chave de alta fidelidade e semanticamente consistentes. Essas imagens servem como orientação complementar de aparência para a subsequente geração de vídeo. Na segunda etapa, mapas de esqueleto juntamente com descrições refinadas de movimento e aparência são extraídos do conteúdo de entrada, e esses, juntamente com as imagens de experimentação de quadros-chave, são então alimentados em um modelo de geração de vídeo pré-treinado aprimorado com adaptadores LoRA. Isso garante coerência temporal de longo prazo para regiões não vistas e permite movimentos dinâmicos altamente plausíveis. Experimentos quantitativos e qualitativos extensivos demonstram que o DreamVVT supera os métodos existentes na preservação de conteúdo detalhado das peças e na estabilidade temporal em cenários do mundo real. Nossa página do projeto está disponível em https://virtu-lab.github.io/.

English

Video virtual try-on (VVT) technology has garnered considerable academic interest owing to its promising applications in e-commerce advertising and entertainment. However, most existing end-to-end methods rely heavily on scarce paired garment-centric datasets and fail to effectively leverage priors of advanced visual models and test-time inputs, making it challenging to accurately preserve fine-grained garment details and maintain temporal consistency in unconstrained scenarios. To address these challenges, we propose DreamVVT, a carefully designed two-stage framework built upon Diffusion Transformers (DiTs), which is inherently capable of leveraging diverse unpaired human-centric data to enhance adaptability in real-world scenarios. To further leverage prior knowledge from pretrained models and test-time inputs, in the first stage, we sample representative frames from the input video and utilize a multi-frame try-on model integrated with a vision-language model (VLM), to synthesize high-fidelity and semantically consistent keyframe try-on images. These images serve as complementary appearance guidance for subsequent video generation. In the second stage, skeleton maps together with fine-grained motion and appearance descriptions are extracted from the input content, and these along with the keyframe try-on images are then fed into a pretrained video generation model enhanced with LoRA adapters. This ensures long-term temporal coherence for unseen regions and enables highly plausible dynamic motions. Extensive quantitative and qualitative experiments demonstrate that DreamVVT surpasses existing methods in preserving detailed garment content and temporal stability in real-world scenarios. Our project page https://virtu-lab.github.io/