FIT : Un jeu de données à grande échelle pour l'essayage virtuel avec prise en compte de l'ajustement

FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On

April 9, 2026

Auteurs: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman

cs.AI

Résumé

Étant donné une personne et une image d'un vêtement, l'essayage virtuel (VTO) vise à synthétiser une image réaliste de la personne portant le vêtement, tout en préservant sa pose et son identité originales. Bien que les méthodes récentes de VTO excellent dans la visualisation de l'apparence des vêtements, elles négligent largement un aspect crucial de l'expérience d'essayage : la précision de l'ajustement du vêtement – par exemple, représenter l'apparence d'une chemise de taille très grande sur une personne de taille très petite. Un obstacle majeur est l'absence de jeux de données fournissant des informations précises sur les tailles du vêtement et du corps, en particulier pour les cas de « mauvaise taille », où les vêtements sont nettement trop grands ou trop petits. Par conséquent, les méthodes actuelles de VTO génèrent par défaut des résultats bien ajustés, quelle que soit la taille du vêtement ou de la personne. Dans cet article, nous franchissons les premières étapes vers la résolution de ce problème ouvert. Nous présentons FIT (Fit-Inclusive Try-on), un jeu de données VTO à grande échelle comprenant plus de 1,13 million de triplets d'images d'essayage accompagnés de mesures précises du corps et du vêtement. Nous surmontons les défis de la collecte de données via une stratégie synthétique et évolutive : (1) Nous générons des vêtements 3D de manière programmatique à l'aide de GarmentCode et les drapons via une simulation physique pour capturer un ajustement réaliste du vêtement. (2) Nous utilisons un nouveau cadre de re-texturation pour transformer les rendus synthétiques en images photoréalistes tout en préservant strictement la géométrie. (3) Nous intégrons la préservation de l'identité de la personne dans notre modèle de re-texturation pour générer des images de personnes appariées (même personne, vêtements différents) pour un apprentissage supervisé. Enfin, nous exploitons notre jeu de données FIT pour entraîner un modèle de base d'essayage virtuel sensible à l'ajustement. Nos données et nos résultats établissent un nouvel état de l'art pour l'essayage virtuel sensible à l'ajustement et offrent également une référence robuste pour les recherches futures. Nous mettrons toutes les données et le code à disposition publique sur notre page de projet : https://johannakarras.github.io/FIT.

English

Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size. In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.