FIT: un dataset su larga scala per il virtual try-on con valutazione della vestibilità

FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On

April 9, 2026

Autori: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman

cs.AI

Abstract

Dato una persona e un'immagine di un capo d'abbigliamento, il virtual try-on (VTO) mira a sintetizzare un'immagine realistica della persona che indossa il capo, preservandone la posa originale e l'identità. Sebbene i recenti metodi di VTO eccellano nel visualizzare l'aspetto del capo, trascurano in larga misura un aspetto cruciale dell'esperienza di prova: l'accuratezza della vestibilità – ad esempio, raffigurando come una maglia taglia extra-large appare su una persona taglia extra-piccola. Un ostacolo chiave è l'assenza di dataset che forniscano informazioni precise sulle taglie del capo e del corpo, specialmente per i casi di "vestibilità scorretta", in cui i capi sono significativamente troppo grandi o troppo piccoli. Di conseguenza, gli attuali metodi di VTO generano per impostazione predefinita risultati ben aderenti, indipendentemente dalla taglia del capo o della persona. In questo articolo, compiamo i primi passi verso la risoluzione di questo problema aperto. Introduciamo FIT (Fit-Inclusive Try-on), un dataset VTO su larga scala comprendente oltre 1.13 milioni di triplette di immagini di prova, accompagnate da precise misurazioni corporee e del capo. Superiamo le sfide della raccolta dati tramite una strategia sintetica scalabile: (1) Generiamo programmaticamente capi 3D utilizzando GarmentCode e li drappeggiamo tramite simulazione fisica per catturare una vestibilità realistica. (2) Impieghiamo un nuovo framework di re-texturing per trasformare i rendering sintetici in immagini fotorealistiche preservando rigorosamente la geometria. (3) Introduciamo la preservazione dell'identità della persona nel nostro modello di re-texturing per generare immagini di persona abbinate (stessa persona, capi diversi) per l'addestramento supervisionato. Infine, sfruttiamo il nostro dataset FIT per addestrare un modello baseline di virtual try-on consapevole della vestibilità. I nostri dati e risultati stabiliscono il nuovo stato dell'arte per il virtual try-on consapevole della vestibilità, oltre a offrire un benchmark robusto per la ricerca futura. Renderemo tutti i dati e il codice pubblicamente disponibili sulla nostra pagina progetto: https://johannakarras.github.io/FIT.

English

Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size. In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.