Dress&Dance: Kleed je aan en dans zoals je wilt - Technische Voorvertoning

Dress&Dance: Dress up and Dance as You Like It - Technical Preview

August 28, 2025

Auteurs: Jun-Kun Chen, Aayush Bansal, Minh Phuoc Vo, Yu-Xiong Wang

cs.AI

Samenvatting

We presenteren Dress&Dance, een videodiffusie-framework dat hoogwaardige 5 seconden durende 24 FPS virtuele pasvideo's genereert met een resolutie van 1152x720, waarin een gebruiker gewenste kledingstukken draagt en beweegt volgens een gegeven referentievideo. Onze aanpak vereist een enkele gebruikersafbeelding en ondersteunt een reeks bovenkleding, onderkleding en één-delige kledingstukken, evenals het gelijktijdig passen van boven- en onderkleding in één stap. Kern van ons framework is CondNet, een nieuw conditioneringnetwerk dat aandacht gebruikt om multi-modale invoer (tekst, afbeeldingen en video's) te verenigen, waardoor de kledingregistratie en bewegingsgetrouwheid worden verbeterd. CondNet wordt getraind op heterogene trainingsgegevens, waarbij beperkte videogegevens en een groter, gemakkelijker beschikbaar afbeeldingsdataset worden gecombineerd, in een meerfasige progressieve aanpak. Dress&Dance overtreft bestaande open source en commerciële oplossingen en biedt een hoogwaardige en flexibele paservaring.

English

We present Dress&Dance, a video diffusion framework that generates high quality 5-second-long 24 FPS virtual try-on videos at 1152x720 resolution of a user wearing desired garments while moving in accordance with a given reference video. Our approach requires a single user image and supports a range of tops, bottoms, and one-piece garments, as well as simultaneous tops and bottoms try-on in a single pass. Key to our framework is CondNet, a novel conditioning network that leverages attention to unify multi-modal inputs (text, images, and videos), thereby enhancing garment registration and motion fidelity. CondNet is trained on heterogeneous training data, combining limited video data and a larger, more readily available image dataset, in a multistage progressive manner. Dress&Dance outperforms existing open source and commercial solutions and enables a high quality and flexible try-on experience.