OutfitAnyone: あらゆる衣類とあらゆる人物のための超高品質バーチャル試着

OutfitAnyone: Ultra-high Quality Virtual Try-On for Any Clothing and Any Person

July 23, 2024

著者: Ke Sun, Jian Cao, Qi Wang, Linrui Tian, Xindi Zhang, Lian Zhuo, Bang Zhang, Liefeng Bo, Wenbo Zhou, Weiming Zhang, Daiheng Gao

cs.AI

要旨

バーチャル試着（VTON）は、ユーザーが実際に服を試着することなくファッションを試せる革新的な技術として注目を集めています。しかし、既存の手法では、高精細で詳細に一貫した結果を生成するのに苦戦することが多いのが現状です。Stable Diffusionシリーズのような拡散モデルは、高品質で写真のようにリアルな画像を生成する能力を示していますが、VTONのような条件付き生成シナリオでは大きな課題に直面します。具体的には、これらのモデルは、仮想の服の試着画像を生成する際に、制御と一貫性のバランスを保つことが難しいのです。OutfitAnyoneは、これらの制限を克服するために、二つのストリームを持つ条件付き拡散モデルを活用し、よりリアルな結果を得るために衣服の変形を巧みに処理します。このモデルは、ポーズや体型といったスケーラビリティ調整要因や、アニメから実写画像まで幅広い適用性といった点で際立っています。OutfitAnyoneの多様なシナリオでの性能は、その有用性と実世界での展開の準備が整っていることを示しています。詳細やアニメーション結果については、https://humanaigc.github.io/outfit-anyone/ をご覧ください。

English

Virtual Try-On (VTON) has become a transformative technology, empowering users to experiment with fashion without ever having to physically try on clothing. However, existing methods often struggle with generating high-fidelity and detail-consistent results. While diffusion models, such as Stable Diffusion series, have shown their capability in creating high-quality and photorealistic images, they encounter formidable challenges in conditional generation scenarios like VTON. Specifically, these models struggle to maintain a balance between control and consistency when generating images for virtual clothing trials. OutfitAnyone addresses these limitations by leveraging a two-stream conditional diffusion model, enabling it to adeptly handle garment deformation for more lifelike results. It distinguishes itself with scalability-modulating factors such as pose, body shape and broad applicability, extending from anime to in-the-wild images. OutfitAnyone's performance in diverse scenarios underscores its utility and readiness for real-world deployment. For more details and animated results, please see https://humanaigc.github.io/outfit-anyone/.