3DV-TON: Prueba de video consistente guiada por 3D texturizado mediante modelos de difusión

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Autores: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Resumen

El video try-on reemplaza la ropa en videos con prendas objetivo. Los métodos existentes tienen dificultades para generar resultados de alta calidad y temporalmente consistentes al manejar patrones de ropa complejos y diversas posturas corporales. Presentamos 3DV-TON, un marco novedoso basado en difusión para generar resultados de video try-on de alta fidelidad y temporalmente consistentes. Nuestro enfoque emplea mallas 3D texturizadas animables generadas como guía explícita a nivel de fotograma, mitigando el problema de que los modelos se enfoquen demasiado en la fidelidad de apariencia a expensas de la coherencia del movimiento. Esto se logra al permitir la referencia directa a los movimientos consistentes de la textura de la prenda a lo largo de las secuencias de video. El método propuesto incluye una pipeline adaptativa para generar guía 3D dinámica: (1) seleccionar un fotograma clave para el try-on inicial de imagen 2D, seguido de (2) reconstruir y animar una malla 3D texturizada sincronizada con las posturas originales del video. Además, introducimos una estrategia robusta de enmascaramiento rectangular que mitiga con éxito la propagación de artefactos causada por la filtración de información de la ropa durante los movimientos dinámicos de humanos y prendas. Para avanzar en la investigación de video try-on, presentamos HR-VVT, un conjunto de datos de referencia de alta resolución que contiene 130 videos con diversos tipos de ropa y escenarios. Los resultados cuantitativos y cualitativos demuestran nuestro rendimiento superior en comparación con los métodos existentes. La página del proyecto está disponible en este enlace: https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/