FIT: Een grootschalige dataset voor fit-bewust virtueel passen

FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On

April 9, 2026

Auteurs: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman

cs.AI

Samenvatting

Gegeven een persoon en een kledingstukafbeelding, heeft virtueel passen (Virtual Try-On, VTO) als doel een realistische afbeelding te synthetiseren van de persoon die het kledingstuk draagt, waarbij de oorspronkelijke houding en identiteit behouden blijven. Hoewel recente VTO-methoden uitblinken in het visualiseren van het uiterlijk van kledingstukken, negeren ze grotendeels een cruciaal aspect van de paservaring: de nauwkeurigheid van de pasvorm – bijvoorbeeld het weergeven van hoe een extra groot shirt eruitziet op een extra kleine persoon. Een belangrijk obstakel is het ontbreken van datasets die precieze informatie verschaffen over kleding- en lichaamsmaten, met name voor gevallen van 'slechte pasvorm', waarbij kledingstukken aanzienlijk te groot of te klein zijn. Dientengevolge genereren huidige VTO-methoden standaard goed passende resultaten, ongeacht de maat van het kledingstuk of de persoon. In dit artikel zetten we de eerste stappen naar het oplossen van dit open probleem. We introduceren FIT (Fit-Inclusive Try-on), een grootschalige VTO-dataset bestaande uit meer dan 1,13 miljoen try-on beeldtripletten, vergezeld van precieze lichaams- en kledingmaten. We overwinnen de uitdagingen van gegevensverzameling via een schaalbare synthetische strategie: (1) We genereren programmatisch 3D-kledingstukken met behulp van GarmentCode en draperen deze via fysicasimulatie om realistische pasvorm vast te leggen. (2) We gebruiken een nieuw hertextureringsraamwerk om synthetische weergaven om te zetten in fotorealistische beelden, waarbij de geometrie strikt behouden blijft. (3) We introduceren het behoud van persoonlijke identiteit in ons hertextureringsmodel om gepaarde persoonbeelden te genereren (zelfde persoon, verschillende kledingstukken) voor gesuperviseerde training. Ten slotte benutten we onze FIT-dataset om een baseline model voor pasvormbewust virtueel passen te trainen. Onze data en resultaten vestigen de nieuwe state-of-the-art voor pasvormbewust virtueel passen en bieden tegelijkertijd een robuuste benchmark voor toekomstig onderzoek. We zullen alle data en code openbaar beschikbaar stellen op onze projectpagina: https://johannakarras.github.io/FIT.

English

Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size. In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.