FIT: Um Conjunto de Dados em Larga Escala para Experimentação Virtual com Consciência de Ajuste
FIT: A Large-Scale Dataset for Fit-Aware Virtual Try-On
April 9, 2026
Autores: Johanna Karras, Yuanhao Wang, Yingwei Li, Ira Kemelmacher-Shlizerman
cs.AI
Resumo
Dado uma pessoa e uma imagem de uma peça de roupa, o _virtual try-on_ (VTO) visa sintetizar uma imagem realista da pessoa usando a peça, preservando sua pose e identidade originais. Embora os métodos recentes de VTO se destaquem na visualização da aparência da roupa, eles ignoram em grande parte um aspeto crucial da experiência de experimentação: a precisão do caimento da roupa — por exemplo, retratar como uma camisa de tamanho extra-grande fica numa pessoa de tamanho extra-pequeno. Um obstáculo fundamental é a ausência de conjuntos de dados que forneçam informações precisas sobre o tamanho do corpo e da roupa, particularmente para casos de "mau caimento", onde as roupas são significativamente grandes ou pequenas demais. Consequentemente, os métodos atuais de VTO optam por gerar resultados bem ajustados, independentemente do tamanho da roupa ou da pessoa.
Neste artigo, damos os primeiros passos para resolver este problema em aberto. Apresentamos o FIT (_Fit-Inclusive Try-on_), um conjunto de dados de VTO em larga escala que compreende mais de 1,13 milhões de triplos de imagens de experimentação, acompanhados por medições precisas do corpo e da roupa. Superamos os desafios da recolha de dados através de uma estratégia sintética escalável: (1) Geramos programaticamente roupas 3D usando o GarmentCode e as drapeamos através de simulação física para capturar o caimento realista da roupa. (2) Empregamos uma nova estrutura de retexturização para transformar renderizações sintéticas em imagens fotorrealistas, preservando estritamente a geometria. (3) Introduzimos a preservação da identidade da pessoa no nosso modelo de retexturização para gerar imagens pareadas de pessoas (a mesma pessoa, roupas diferentes) para treino supervisionado. Por fim, aproveitamos o nosso conjunto de dados FIT para treinar um modelo de base de VTO consciente do caimento. Os nossos dados e resultados estabelecem o novo estado da arte para o _virtual try-on_ consciente do caimento, além de oferecerem um benchmark robusto para pesquisas futuras. Disponibilizaremos todos os dados e código publicamente na nossa página do projeto: https://johannakarras.github.io/FIT.
English
Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size.
In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.