Dress&Dance: Vístete y Baila a Tu Manera - Vista Previa Técnica

Dress&Dance: Dress up and Dance as You Like It - Technical Preview

August 28, 2025

Autores: Jun-Kun Chen, Aayush Bansal, Minh Phuoc Vo, Yu-Xiong Wang

cs.AI

Resumen

Presentamos Dress&Dance, un marco de difusión de video que genera videos de prueba virtual de alta calidad de 5 segundos de duración a 24 FPS con una resolución de 1152x720, donde un usuario viste prendas deseadas mientras se mueve de acuerdo con un video de referencia dado. Nuestro enfoque requiere una única imagen del usuario y admite una variedad de prendas superiores, inferiores y de una sola pieza, así como la prueba simultánea de prendas superiores e inferiores en un solo paso. Clave en nuestro marco es CondNet, una red de condicionamiento novedosa que aprovecha la atención para unificar entradas multimodales (texto, imágenes y videos), mejorando así el registro de las prendas y la fidelidad del movimiento. CondNet se entrena con datos heterogéneos, combinando un conjunto limitado de videos y un conjunto de imágenes más grande y fácilmente disponible, de manera progresiva y en múltiples etapas. Dress&Dance supera las soluciones existentes de código abierto y comerciales, permitiendo una experiencia de prueba virtual de alta calidad y flexible.

English

We present Dress&Dance, a video diffusion framework that generates high quality 5-second-long 24 FPS virtual try-on videos at 1152x720 resolution of a user wearing desired garments while moving in accordance with a given reference video. Our approach requires a single user image and supports a range of tops, bottoms, and one-piece garments, as well as simultaneous tops and bottoms try-on in a single pass. Key to our framework is CondNet, a novel conditioning network that leverages attention to unify multi-modal inputs (text, images, and videos), thereby enhancing garment registration and motion fidelity. CondNet is trained on heterogeneous training data, combining limited video data and a larger, more readily available image dataset, in a multistage progressive manner. Dress&Dance outperforms existing open source and commercial solutions and enables a high quality and flexible try-on experience.