FIT: Un Conjunto de Datos a Gran Escala para Pruebas Virtuales Conscientes del Ajuste

FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On

April 9, 2026

Autores: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman

cs.AI

Resumen

Dado una persona y una imagen de una prenda, la prueba virtual (VTO, por sus siglas en inglés) tiene como objetivo sintetizar una imagen realista de la persona usando la prenda, preservando su pose e identidad originales. Aunque los métodos recientes de VTO sobresalen en visualizar la apariencia de la prenda, en gran medida pasan por alto un aspecto crucial de la experiencia de prueba: la precisión del ajuste de la prenda; por ejemplo, representar cómo se ve una camisa de talla extra grande en una persona de talla extra pequeña. Un obstáculo clave es la ausencia de conjuntos de datos que proporcionen información precisa sobre las tallas de la prenda y del cuerpo, particularmente para casos de "mal ajuste", donde las prendas son significativamente demasiado grandes o demasiado pequeñas. En consecuencia, los métodos actuales de VTO generan por defecto resultados bien ajustados, independientemente de la talla de la prenda o de la persona. En este artículo, damos los primeros pasos hacia la solución de este problema abierto. Presentamos FIT (Prueba Virtual Inclusiva del Ajuste), un conjunto de datos de VTO a gran escala que comprende más de 1,13 millones de trillizos de imágenes de prueba, acompañados de mediciones precisas del cuerpo y de la prenda. Superamos los desafíos de la recolección de datos mediante una estrategia sintética escalable: (1) Generamos programáticamente prendas 3D utilizando GarmentCode y las drapeamos mediante simulación física para capturar el ajuste realista de la prenda. (2) Empleamos un novedoso marco de re-texturizado para transformar las representaciones sintéticas en imágenes fotorrealistas preservando estrictamente la geometría. (3) Introducimos la preservación de la identidad de la persona en nuestro modelo de re-texturizado para generar imágenes pareadas de personas (la misma persona, con diferentes prendas) para el entrenamiento supervisado. Finalmente, aprovechamos nuestro conjunto de datos FIT para entrenar un modelo de referencia de prueba virtual consciente del ajuste. Nuestros datos y resultados establecen el nuevo estado del arte para la prueba virtual consciente del ajuste, y además ofrecen un punto de referencia sólido para futuras investigaciones. Pondremos todos los datos y el código a disposición del público en la página de nuestro proyecto: https://johannakarras.github.io/FIT.

English

Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size. In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.