Dress&Dance: Vista-se e Dance como Quiser - Prévia Técnica
Dress&Dance: Dress up and Dance as You Like It - Technical Preview
August 28, 2025
Autores: Jun-Kun Chen, Aayush Bansal, Minh Phuoc Vo, Yu-Xiong Wang
cs.AI
Resumo
Apresentamos o Dress&Dance, um framework de difusão de vídeo que gera vídeos de experimentação virtual de alta qualidade com 5 segundos de duração, 24 FPS e resolução de 1152x720, mostrando um usuário vestindo as peças desejadas enquanto se move de acordo com um vídeo de referência fornecido. Nossa abordagem requer uma única imagem do usuário e suporta uma variedade de peças superiores, inferiores e vestidos, além de permitir a experimentação simultânea de peças superiores e inferiores em uma única passagem. A chave do nosso framework é o CondNet, uma rede de condicionamento inovadora que utiliza atenção para unificar entradas multimodais (texto, imagens e vídeos), melhorando assim o registro das peças e a fidelidade do movimento. O CondNet é treinado com dados heterogêneos, combinando um conjunto limitado de vídeos e um conjunto maior e mais acessível de imagens, de forma progressiva e em múltiplos estágios. O Dress&Dance supera as soluções existentes, tanto de código aberto quanto comerciais, proporcionando uma experiência de experimentação de alta qualidade e flexível.
English
We present Dress&Dance, a video diffusion framework that generates high
quality 5-second-long 24 FPS virtual try-on videos at 1152x720 resolution of a
user wearing desired garments while moving in accordance with a given reference
video. Our approach requires a single user image and supports a range of tops,
bottoms, and one-piece garments, as well as simultaneous tops and bottoms
try-on in a single pass. Key to our framework is CondNet, a novel conditioning
network that leverages attention to unify multi-modal inputs (text, images, and
videos), thereby enhancing garment registration and motion fidelity. CondNet is
trained on heterogeneous training data, combining limited video data and a
larger, more readily available image dataset, in a multistage progressive
manner. Dress&Dance outperforms existing open source and commercial solutions
and enables a high quality and flexible try-on experience.