OutfitAnyone : Essai virtuel de qualité ultra-élevée pour tout vêtement et toute personne

OutfitAnyone: Ultra-high Quality Virtual Try-On for Any Clothing and Any Person

July 23, 2024

Auteurs: Ke Sun, Jian Cao, Qi Wang, Linrui Tian, Xindi Zhang, Lian Zhuo, Bang Zhang, Liefeng Bo, Wenbo Zhou, Weiming Zhang, Daiheng Gao

cs.AI

Résumé

Le Virtual Try-On (VTON) est devenu une technologie transformatrice, permettant aux utilisateurs d'expérimenter avec la mode sans avoir à essayer physiquement des vêtements. Cependant, les méthodes existantes peinent souvent à générer des résultats de haute fidélité et cohérents dans les détails. Bien que les modèles de diffusion, tels que la série Stable Diffusion, aient démontré leur capacité à créer des images de haute qualité et photoréalistes, ils rencontrent des défis importants dans des scénarios de génération conditionnelle comme le VTON. Plus précisément, ces modèles ont du mal à maintenir un équilibre entre contrôle et cohérence lors de la génération d'images pour des essais virtuels de vêtements. OutfitAnyone surmonte ces limitations en exploitant un modèle de diffusion conditionnelle à deux flux, lui permettant de gérer habilement la déformation des vêtements pour des résultats plus réalistes. Il se distingue par des facteurs de modulation de l'évolutivité tels que la pose, la morphologie et une large applicabilité, s'étendant des images d'anime à celles de situations réelles. La performance d'OutfitAnyone dans divers scénarios souligne son utilité et sa préparation pour un déploiement en conditions réelles. Pour plus de détails et des résultats animés, veuillez consulter https://humanaigc.github.io/outfit-anyone/.

English

Virtual Try-On (VTON) has become a transformative technology, empowering users to experiment with fashion without ever having to physically try on clothing. However, existing methods often struggle with generating high-fidelity and detail-consistent results. While diffusion models, such as Stable Diffusion series, have shown their capability in creating high-quality and photorealistic images, they encounter formidable challenges in conditional generation scenarios like VTON. Specifically, these models struggle to maintain a balance between control and consistency when generating images for virtual clothing trials. OutfitAnyone addresses these limitations by leveraging a two-stream conditional diffusion model, enabling it to adeptly handle garment deformation for more lifelike results. It distinguishes itself with scalability-modulating factors such as pose, body shape and broad applicability, extending from anime to in-the-wild images. OutfitAnyone's performance in diverse scenarios underscores its utility and readiness for real-world deployment. For more details and animated results, please see https://humanaigc.github.io/outfit-anyone/.