Voost: Um Transformador de Difusão Unificado e Escalável para Experimentação Virtual Bidirecional de Vestir e Retirar

Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off

August 6, 2025

Autores: Seungyong Lee, Jeong-gi Kwak

cs.AI

Resumo

O virtual try-on tem como objetivo sintetizar uma imagem realista de uma pessoa vestindo uma peça de roupa específica, mas a modelagem precisa da correspondência entre a roupa e o corpo continua sendo um desafio persistente, especialmente sob variações de pose e aparência. Neste artigo, propomos o Voost - um framework unificado e escalável que aprende conjuntamente o virtual try-on e o try-off com um único transformer de difusão. Ao modelar ambas as tarefas em conjunto, o Voost permite que cada par roupa-pessoa supervisione ambas as direções e suporte condicionamento flexível sobre a direção de geração e a categoria da roupa, aprimorando o raciocínio relacional entre roupa e corpo sem redes específicas para tarefas, perdas auxiliares ou rótulos adicionais. Além disso, introduzimos duas técnicas de inferência: o escalonamento de temperatura de atenção para robustez a variações de resolução ou máscara, e a amostragem autocorretiva que aproveita a consistência bidirecional entre as tarefas. Experimentos extensivos demonstram que o Voost alcança resultados de ponta em benchmarks tanto de try-on quanto de try-off, superando consistentemente baselines fortes em precisão de alinhamento, fidelidade visual e generalização.

English

Virtual try-on aims to synthesize a realistic image of a person wearing a target garment, but accurately modeling garment-body correspondence remains a persistent challenge, especially under pose and appearance variation. In this paper, we propose Voost - a unified and scalable framework that jointly learns virtual try-on and try-off with a single diffusion transformer. By modeling both tasks jointly, Voost enables each garment-person pair to supervise both directions and supports flexible conditioning over generation direction and garment category, enhancing garment-body relational reasoning without task-specific networks, auxiliary losses, or additional labels. In addition, we introduce two inference-time techniques: attention temperature scaling for robustness to resolution or mask variation, and self-corrective sampling that leverages bidirectional consistency between tasks. Extensive experiments demonstrate that Voost achieves state-of-the-art results on both try-on and try-off benchmarks, consistently outperforming strong baselines in alignment accuracy, visual fidelity, and generalization.