3DV-TON: Video Try-on Consistente Guidato da Modelli 3D Testurizzati tramite Modelli di Diffusione

3DV-TON: Textured 3D-Guided Consistent Video Try-on via Diffusion Models

April 24, 2025

Autori: Min Wei, Chaohui Yu, Jingkai Zhou, Fan Wang

cs.AI

Abstract

Il video try-on sostituisce gli abiti nei video con capi di abbigliamento target. I metodi esistenti faticano a generare risultati di alta qualità e temporalmente coerenti quando si tratta di gestire modelli di abbigliamento complessi e pose corporee diverse. Presentiamo 3DV-TON, un nuovo framework basato su diffusione per generare risultati di video try-on ad alta fedeltà e temporalmente coerenti. Il nostro approccio utilizza mesh 3D animate e texture generate come guida esplicita a livello di fotogramma, alleviando il problema dei modelli che si concentrano eccessivamente sulla fedeltà dell'aspetto a scapito della coerenza del movimento. Ciò è ottenuto consentendo un riferimento diretto ai movimenti coerenti della texture del capo lungo le sequenze video. Il metodo proposto include una pipeline adattativa per generare una guida 3D dinamica: (1) selezione di un fotogramma chiave per un iniziale try-on 2D dell'immagine, seguito da (2) ricostruzione e animazione di una mesh 3D texture sincronizzata con le pose originali del video. Introduciamo inoltre una robusta strategia di mascheramento rettangolare che mitiga con successo la propagazione di artefatti causata dalla fuoriuscita di informazioni sull'abbigliamento durante i movimenti dinamici del corpo e del capo. Per avanzare la ricerca sul video try-on, presentiamo HR-VVT, un dataset di riferimento ad alta risoluzione contenente 130 video con diversi tipi di abbigliamento e scenari. I risultati quantitativi e qualitativi dimostrano la nostra performance superiore rispetto ai metodi esistenti. La pagina del progetto è disponibile al seguente link: https://2y7c3.github.io/3DV-TON/

English

Video try-on replaces clothing in videos with target garments. Existing methods struggle to generate high-quality and temporally consistent results when handling complex clothing patterns and diverse body poses. We present 3DV-TON, a novel diffusion-based framework for generating high-fidelity and temporally consistent video try-on results. Our approach employs generated animatable textured 3D meshes as explicit frame-level guidance, alleviating the issue of models over-focusing on appearance fidelity at the expanse of motion coherence. This is achieved by enabling direct reference to consistent garment texture movements throughout video sequences. The proposed method features an adaptive pipeline for generating dynamic 3D guidance: (1) selecting a keyframe for initial 2D image try-on, followed by (2) reconstructing and animating a textured 3D mesh synchronized with original video poses. We further introduce a robust rectangular masking strategy that successfully mitigates artifact propagation caused by leaking clothing information during dynamic human and garment movements. To advance video try-on research, we introduce HR-VVT, a high-resolution benchmark dataset containing 130 videos with diverse clothing types and scenarios. Quantitative and qualitative results demonstrate our superior performance over existing methods. The project page is at this link https://2y7c3.github.io/3DV-TON/