OutfitAnyone: 모든 의류와 모든 사람을 위한 초고품질 가상 피팅

OutfitAnyone: Ultra-high Quality Virtual Try-On for Any Clothing and Any Person

July 23, 2024

저자: Ke Sun, Jian Cao, Qi Wang, Linrui Tian, Xindi Zhang, Lian Zhuo, Bang Zhang, Liefeng Bo, Wenbo Zhou, Weiming Zhang, Daiheng Gao

cs.AI

초록

가상 피팅(VTON)은 사용자가 실제로 옷을 입어보지 않고도 패션을 실험할 수 있게 해주는 혁신적인 기술로 자리 잡았습니다. 그러나 기존 방법들은 고해상도와 디테일 일관성을 유지한 결과물을 생성하는 데 어려움을 겪는 경우가 많습니다. Stable Diffusion 시리즈와 같은 디퓨전 모델은 고품질의 사실적인 이미지를 생성하는 능력을 보여주었지만, VTON과 같은 조건부 생성 시나리오에서는 상당한 어려움에 직면합니다. 특히, 이러한 모델들은 가상 의류 시뮬레이션을 위한 이미지를 생성할 때 제어와 일관성 사이의 균형을 유지하는 데 어려움을 겪습니다. OutfitAnyone은 이러한 한계를 극복하기 위해 이중 스트림 조건부 디퓨전 모델을 활용하여 의류 변형을 능숙하게 처리하고 더욱 생생한 결과물을 생성합니다. 이 모델은 포즈, 체형과 같은 확장성 조절 요소와 애니메이션부터 실제 사진까지 광범위한 적용 가능성을 통해 차별화됩니다. OutfitAnyone의 다양한 시나리오에서의 성능은 실세계 배포 준비와 유용성을 강조합니다. 더 자세한 내용과 애니메이션 결과는 https://humanaigc.github.io/outfit-anyone/에서 확인할 수 있습니다.

English

Virtual Try-On (VTON) has become a transformative technology, empowering users to experiment with fashion without ever having to physically try on clothing. However, existing methods often struggle with generating high-fidelity and detail-consistent results. While diffusion models, such as Stable Diffusion series, have shown their capability in creating high-quality and photorealistic images, they encounter formidable challenges in conditional generation scenarios like VTON. Specifically, these models struggle to maintain a balance between control and consistency when generating images for virtual clothing trials. OutfitAnyone addresses these limitations by leveraging a two-stream conditional diffusion model, enabling it to adeptly handle garment deformation for more lifelike results. It distinguishes itself with scalability-modulating factors such as pose, body shape and broad applicability, extending from anime to in-the-wild images. OutfitAnyone's performance in diverse scenarios underscores its utility and readiness for real-world deployment. For more details and animated results, please see https://humanaigc.github.io/outfit-anyone/.