CtrlVTON: 시각적 인스턴스 프롬프트 분할을 통한 제어 가능한 가상 착용

초록

가상 착용(VTO) 기술은 목표 인물에게 의상을 사실적으로 전이하는 데 있어 상당한 진전을 이루었다. 그러나 대부분의 시스템은 사용자가 의상을 어떻게 착용할지, 즉 사이즈(헐렁함 또는 딱 맞음), 스타일(예: 안에 넣거나 빼기, 열거나 닫기), 신체 위 공간적 배치를 제어할 수 있는 권한을 거의 제공하지 않는다. 본 연구는 두 가지 상호 보완적 기여를 통해 이러한 격차를 해소한다. 첫째, VIP-SAM을 통한 시각적 인스턴스 프롬프트 분할(Visual-Instance-Prompt Segmentation)을 정의하고 해결한다. 주어진 의류의 평면 이미지(flatlay)를 바탕으로, 해당 의류를 착용한 인물 사진에서 특정 인스턴스를 분할하는 것이다. 이는 일반적으로 연구되는 범주 수준의 분할과는 구별되는 인스턴스 수준 작업이다. 둘째, CtrlVTON을 소개한다. 이는 제어 가능한 VTO 프레임워크로, 착용 시도를 이미지 편집 문제로 재구성하고, 분할 마스크를 의상 레이아웃(스타일, 사이즈, 신체 위 공간적 배치 포함)에 대한 픽셀 수준의 제어 요소로 추가한다. VIP-SAM과 CtrlVTON은 각각의 작업에서 최첨단 결과를 달성한다. 특히 CtrlVTON은 가장 강력한 독점 편집 시스템보다 사용자가 제공한 레이아웃을 훨씬 더 충실히 따르는 이미지를 생성하면서, 의류 충실도에서는 이들과 동등한 성능을 보인다.

English

Virtual try-on (VTO) has made significant progress in realistically transferring garments onto a target person. Yet most systems give the user little control over how a garment should be worn -- its size (loose or fitted), style (e.g., tucked in or untucked, open or closed), and spatial placement on the body. We address this gap with two complementary contributions. First, we define and solve Visual-Instance-Prompt Segmentation via VIP-SAM: given a flatlay image of a garment, segment that specific instance in a photograph of a person wearing it. This is an instance-level task, distinct from the typically studied category-level segmentation. Second, we introduce CtrlVTON, a controllable VTO framework that recasts try-on as an image editing problem and adds segmentation masks as pixel-level control over garment layout, including style, size, and spatial placement on the body. VIP-SAM and CtrlVTON each achieve state-of-the-art results on their respective tasks. In particular, CtrlVTON generates images that follow user-provided layouts far more faithfully than the strongest proprietary editing systems while matching them on garment fidelity.