FIT: Ein umfangreicher Datensatz für passgenaues virtuelles Anprobieren
FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On
April 9, 2026
Autoren: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman
cs.AI
Zusammenfassung
Bei Virtual Try-On (VTO) geht es darum, basierend auf einem Bild einer Person und eines Kleidungsstücks ein realistisches Bild der Person zu synthetisieren, das das Kleidungsstück trägt, wobei die ursprüngliche Pose und Identität der Person erhalten bleiben. Obwohl aktuelle VTO-Methoden bei der Darstellung des Kleidungsstück-Erscheinungsbilds hervorragende Ergebnisse erzielen, übersehen sie weitgehend einen entscheidenden Aspekt des Anprobiervorgangs: die Genauigkeit der Passform – also beispielsweise, wie ein Hemd in Übergröße an einer Person mit sehr kleiner Statur aussieht. Ein Haupthindernis ist das Fehlen von Datensätzen, die präzise Größenangaben für Kleidungsstücke und Körper liefern, insbesondere für Fälle von „schlechter Passform“, bei denen Kleidungsstücke deutlich zu groß oder zu klein sind. Folglich erzeugen aktuelle VTO-Methoden standardmäßig gut sitzende Ergebnisse, unabhängig von der Größe des Kleidungsstücks oder der Person.
In diesem Beitrag unternehmen wir die ersten Schritte zur Lösung dieses offenen Problems. Wir stellen FIT (Fit-Inclusive Try-on) vor, einen groß angelegten VTO-Datensatz, der über 1,13 Millionen Try-On-Bildtriplets mit präzisen Körper- und Kleidungsstückmaßen umfasst. Wir bewältigen die Herausforderungen der Datenerfassung durch eine skalierbare synthetische Strategie: (1) Wir generieren programmgesteuert 3D-Kleidungsstücke mit GarmentCode und drapieren sie mittels Physiksimulation, um eine realistische Passform zu erfassen. (2) Wir verwenden ein neuartiges Re-Texturing-Framework, um synthetische Renderings unter strikter Beibehaltung der Geometrie in fotorealistische Bilder zu verwandeln. (3) Wir integrieren die Erhaltung der Personenidentität in unser Re-Texturing-Modell, um gepaarte Personenbilder (dieselbe Person, verschiedene Kleidungsstücke) für supervidiertes Training zu erzeugen. Schließlich nutzen wir unseren FIT-Datensatz, um ein Baseline-Modell für passformbewusstes Virtual Try-On zu trainieren. Unsere Daten und Ergebnisse setzen neue Maßstäbe für passformbewusstes Virtual Try-On und bieten zudem eine robuste Benchmark für zukünftige Forschung. Wir werden alle Daten und Codes auf unserer Projektseite öffentlich zugänglich machen: https://johannakarras.github.io/FIT.
English
Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size.
In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.