Voost: Un Trasformatore di Diffusione Unificato e Scalabile per il Virtual Try-On e Try-Off Bidirezionale

Voost: A Unified and Scalable Diffusion Transformer for Bidirectional Virtual Try-On and Try-Off

August 6, 2025

Autori: Seungyong Lee, Jeong-gi Kwak

cs.AI

Abstract

Il virtual try-on mira a sintetizzare un'immagine realistica di una persona che indossa un capo di abbigliamento target, ma modellare accuratamente la corrispondenza tra capo e corpo rimane una sfida persistente, specialmente in presenza di variazioni di posa e aspetto. In questo articolo, proponiamo Voost - un framework unificato e scalabile che apprende congiuntamente il virtual try-on e il try-off con un singolo transformer basato su diffusione. Modellando entrambe le attività in modo congiunto, Voost consente a ciascuna coppia capo-persona di supervisionare entrambe le direzioni e supporta un condizionamento flessibile sulla direzione di generazione e sulla categoria del capo, migliorando il ragionamento relazionale tra capo e corpo senza reti specifiche per task, perdite ausiliarie o etichette aggiuntive. Inoltre, introduciamo due tecniche di inferenza: lo scaling della temperatura di attenzione per una maggiore robustezza alle variazioni di risoluzione o maschera, e il campionamento auto-correttivo che sfrutta la consistenza bidirezionale tra le attività. Esperimenti estensivi dimostrano che Voost raggiunge risultati all'avanguardia sia nei benchmark di try-on che di try-off, superando costantemente baseline robuste in termini di accuratezza di allineamento, fedeltà visiva e generalizzazione.

English

Virtual try-on aims to synthesize a realistic image of a person wearing a target garment, but accurately modeling garment-body correspondence remains a persistent challenge, especially under pose and appearance variation. In this paper, we propose Voost - a unified and scalable framework that jointly learns virtual try-on and try-off with a single diffusion transformer. By modeling both tasks jointly, Voost enables each garment-person pair to supervise both directions and supports flexible conditioning over generation direction and garment category, enhancing garment-body relational reasoning without task-specific networks, auxiliary losses, or additional labels. In addition, we introduce two inference-time techniques: attention temperature scaling for robustness to resolution or mask variation, and self-corrective sampling that leverages bidirectional consistency between tasks. Extensive experiments demonstrate that Voost achieves state-of-the-art results on both try-on and try-off benchmarks, consistently outperforming strong baselines in alignment accuracy, visual fidelity, and generalization.