OmniTry：マスク不要の仮想試着システム

OmniTry: Virtual Try-On Anything without Masks

August 19, 2025

著者: Yutong Feng, Linlin Zhang, Hengyuan Cao, Yiming Chen, Xiaoduan Feng, Jian Cao, Yuxiong Wu, Bin Wang

cs.AI

要旨

バーチャル試着（VTON）は実用的で広く応用されているタスクであり、既存研究の多くは衣服に焦点を当てています。本論文では、OmniTryという統一フレームワークを提案します。これはVTONを衣服だけでなく、ジュエリーやアクセサリーなど、あらゆる着用可能なオブジェクトに拡張し、より実用的なアプリケーションのためのマスクフリー設定を実現します。さまざまなタイプのオブジェクトに拡張する際、ペア画像（オブジェクト画像と対応する試着結果）を取得するためのデータキュレーションは困難です。この問題に対処するため、2段階のパイプラインを提案します。第1段階では、大規模な非ペア画像（任意の着用アイテムを持つポートレート）を活用し、マスクフリーの位置特定を学習するモデルを訓練します。具体的には、インペインティングモデルを再利用し、空のマスクが与えられた場合に適切な位置にオブジェクトを自動的に描画します。第2段階では、ペア画像を用いてモデルをさらに微調整し、オブジェクトの外観の一貫性を転移させます。第1段階後のモデルは、わずかなペアサンプルでも迅速に収束することが観察されました。OmniTryは、12の一般的な着用可能オブジェクトクラスからなる包括的なベンチマークで評価され、店内画像と実世界画像の両方で検証されました。実験結果は、OmniTryが既存手法と比較して、オブジェクトの位置特定とID保存の両方で優れた性能を示すことを示唆しています。OmniTryのコード、モデル重み、および評価ベンチマークはhttps://omnitry.github.io/で公開されます。

English

Virtual Try-ON (VTON) is a practical and widely-applied task, for which most of existing works focus on clothes. This paper presents OmniTry, a unified framework that extends VTON beyond garment to encompass any wearable objects, e.g., jewelries and accessories, with mask-free setting for more practical application. When extending to various types of objects, data curation is challenging for obtaining paired images, i.e., the object image and the corresponding try-on result. To tackle this problem, we propose a two-staged pipeline: For the first stage, we leverage large-scale unpaired images, i.e., portraits with any wearable items, to train the model for mask-free localization. Specifically, we repurpose the inpainting model to automatically draw objects in suitable positions given an empty mask. For the second stage, the model is further fine-tuned with paired images to transfer the consistency of object appearance. We observed that the model after the first stage shows quick convergence even with few paired samples. OmniTry is evaluated on a comprehensive benchmark consisting of 12 common classes of wearable objects, with both in-shop and in-the-wild images. Experimental results suggest that OmniTry shows better performance on both object localization and ID-preservation compared with existing methods. The code, model weights, and evaluation benchmark of OmniTry will be made publicly available at https://omnitry.github.io/.