Dress&Dance: Vestiti e balla come preferisci - Anteprima tecnica
Dress&Dance: Dress up and Dance as You Like It - Technical Preview
August 28, 2025
Autori: Jun-Kun Chen, Aayush Bansal, Minh Phuoc Vo, Yu-Xiong Wang
cs.AI
Abstract
Presentiamo Dress&Dance, un framework di diffusione video che genera video di prova virtuale di alta qualità della durata di 5 secondi a 24 FPS con risoluzione 1152x720, mostrando un utente che indossa capi desiderati mentre si muove in accordo con un video di riferimento fornito. Il nostro approccio richiede una singola immagine dell'utente e supporta una gamma di capi superiori, inferiori e completi, nonché la prova simultanea di capi superiori e inferiori in un'unica passata. Elemento chiave del nostro framework è CondNet, una rete di condizionamento innovativa che sfrutta l'attenzione per unificare input multimodali (testo, immagini e video), migliorando così la registrazione dei capi e la fedeltà del movimento. CondNet viene addestrata su dati eterogenei, combinando un numero limitato di video e un dataset di immagini più ampio e facilmente disponibile, in modo progressivo e multistadio. Dress&Dance supera le soluzioni open source e commerciali esistenti e offre un'esperienza di prova virtuale di alta qualità e flessibile.
English
We present Dress&Dance, a video diffusion framework that generates high
quality 5-second-long 24 FPS virtual try-on videos at 1152x720 resolution of a
user wearing desired garments while moving in accordance with a given reference
video. Our approach requires a single user image and supports a range of tops,
bottoms, and one-piece garments, as well as simultaneous tops and bottoms
try-on in a single pass. Key to our framework is CondNet, a novel conditioning
network that leverages attention to unify multi-modal inputs (text, images, and
videos), thereby enhancing garment registration and motion fidelity. CondNet is
trained on heterogeneous training data, combining limited video data and a
larger, more readily available image dataset, in a multistage progressive
manner. Dress&Dance outperforms existing open source and commercial solutions
and enables a high quality and flexible try-on experience.