3DV-TON: Experimentação de Vídeo Consistente Guiada por Texturas 3D via Modelos de Difusão

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Autores: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Resumo

O try-on de vídeo substitui as roupas em vídeos por peças de vestuário alvo. Os métodos existentes enfrentam dificuldades para gerar resultados de alta qualidade e temporalmente consistentes ao lidar com padrões complexos de roupas e poses corporais diversas. Apresentamos o 3DV-TON, uma nova estrutura baseada em difusão para gerar resultados de try-on de vídeo de alta fidelidade e temporalmente consistentes. Nossa abordagem utiliza malhas 3D texturizadas e animáveis geradas como orientação explícita em nível de quadro, mitigando o problema de modelos que se concentram excessivamente na fidelidade de aparência em detrimento da coerência de movimento. Isso é alcançado ao permitir a referência direta a movimentos consistentes da textura da roupa ao longo das sequências de vídeo. O método proposto apresenta um pipeline adaptativo para gerar orientação 3D dinâmica: (1) seleciona um quadro-chave para o try-on inicial de imagem 2D, seguido por (2) reconstrução e animação de uma malha 3D texturizada sincronizada com as poses originais do vídeo. Além disso, introduzimos uma estratégia robusta de mascaramento retangular que mitiga com sucesso a propagação de artefatos causada pela vazamento de informações de roupas durante movimentos dinâmicos de humanos e vestuário. Para avançar a pesquisa em try-on de vídeo, apresentamos o HR-VVT, um conjunto de dados de referência de alta resolução contendo 130 vídeos com diversos tipos de roupas e cenários. Resultados quantitativos e qualitativos demonstram nosso desempenho superior em relação aos métodos existentes. A página do projeto está disponível no link https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/