CtrlVTON : Essayage virtuel contrôlable via segmentation par prompt d'instance visuelle

Résumé

L’essayage virtuel (VTO) a réalisé des progrès significatifs dans le transfert réaliste de vêtements sur une personne cible. Pourtant, la plupart des systèmes offrent peu de contrôle à l’utilisateur sur la façon dont un vêtement doit être porté — sa taille (ajustée ou ample), son style (par exemple, rentré ou non, ouvert ou fermé) et son placement spatial sur le corps. Nous comblons cette lacune avec deux contributions complémentaires. Premièrement, nous définissons et résolvons la segmentation par prompt visuel-instance via VIP-SAM : à partir d’une image à plat d’un vêtement, segmenter cette instance spécifique dans une photographie d’une personne le portant. Il s’agit d’une tâche au niveau de l’instance, distincte de la segmentation au niveau de la catégorie habituellement étudiée. Deuxièmement, nous présentons CtrlVTON, un cadre d’essayage contrôlable qui reformule l’essayage comme un problème d’édition d’image et ajoute des masques de segmentation comme contrôle au niveau du pixel sur la disposition du vêtement, incluant style, taille et placement spatial sur le corps. VIP-SAM et CtrlVTON obtiennent chacun des résultats à l’état de l’art sur leurs tâches respectives. En particulier, CtrlVTON génère des images qui suivent les dispositions fournies par l’utilisateur bien plus fidèlement que les systèmes d’édition propriétaires les plus puissants, tout en les égalant en matière de fidélité du vêtement.

English

Virtual try-on (VTO) has made significant progress in realistically transferring garments onto a target person. Yet most systems give the user little control over how a garment should be worn -- its size (loose or fitted), style (e.g., tucked in or untucked, open or closed), and spatial placement on the body. We address this gap with two complementary contributions. First, we define and solve Visual-Instance-Prompt Segmentation via VIP-SAM: given a flatlay image of a garment, segment that specific instance in a photograph of a person wearing it. This is an instance-level task, distinct from the typically studied category-level segmentation. Second, we introduce CtrlVTON, a controllable VTO framework that recasts try-on as an image editing problem and adds segmentation masks as pixel-level control over garment layout, including style, size, and spatial placement on the body. VIP-SAM and CtrlVTON each achieve state-of-the-art results on their respective tasks. In particular, CtrlVTON generates images that follow user-provided layouts far more faithfully than the strongest proprietary editing systems while matching them on garment fidelity.