DressCode: 텍스트 지도를 통한 자동회귀적 의류 제작 및 생성

DressCode: Autoregressively Sewing and Generating Garments from Text Guidance

January 29, 2024

저자: Kai He, Kaixin Yao, Qixuan Zhang, Jingyi Yu, Lingjie Liu, Lan Xu

cs.AI

초록

의류가 인간의 외모에 미치는 중요한 영향은 디지털 휴먼 생성에 있어 의류 디지털화의 중요성을 강조합니다. 최근 3D 콘텐츠 생성 기술의 발전은 디지털 휴먼 생성에 있어 핵심적인 역할을 하고 있습니다. 그러나 텍스트 지시를 통한 의류 생성은 아직 초기 단계에 머물러 있습니다. 우리는 텍스트 기반 3D 의류 생성 프레임워크인 DressCode를 소개하며, 이는 초보자도 쉽게 디자인할 수 있도록 하고 패션 디자인, 가상 피팅, 디지털 휴먼 생성 등에서 막대한 잠재력을 제공합니다. 우리의 프레임워크를 위해 먼저 텍스트 조건 임베딩과 크로스 어텐션을 통합한 GPT 기반 아키텍처인 SewingGPT를 도입하여 텍스트 지시를 통해 재봉 패턴을 생성합니다. 또한, 고품질의 타일 기반 PBR 텍스처 생성을 위해 사전 학습된 Stable Diffusion을 맞춤화했습니다. 대규모 언어 모델을 활용함으로써, 우리의 프레임워크는 자연어 상호작용을 통해 CG 친화적인 의류를 생성합니다. 또한, 패턴 완성과 텍스처 편집을 용이하게 하여 디자이너들이 사용자 친화적인 상호작용으로 프로세스를 단순화할 수 있도록 합니다. 포괄적인 평가 및 최신 기술과의 비교를 통해, 우리의 방법은 최고의 품질과 입력 프롬프트와의 일치성을 보여줍니다. 사용자 연구는 고품질 렌더링 결과를 검증하며, 실제 생산 환경에서의 실용성과 잠재력을 강조합니다.

English

Apparel's significant role in human appearance underscores the importance of garment digitalization for digital human creation. Recent advances in 3D content creation are pivotal for digital human creation. Nonetheless, garment generation from text guidance is still nascent. We introduce a text-driven 3D garment generation framework, DressCode, which aims to democratize design for novices and offer immense potential in fashion design, virtual try-on, and digital human creation. For our framework, we first introduce SewingGPT, a GPT-based architecture integrating cross-attention with text-conditioned embedding to generate sewing patterns with text guidance. We also tailored a pre-trained Stable Diffusion for high-quality, tile-based PBR texture generation. By leveraging a large language model, our framework generates CG-friendly garments through natural language interaction. Our method also facilitates pattern completion and texture editing, simplifying the process for designers by user-friendly interaction. With comprehensive evaluations and comparisons with other state-of-the-art methods, our method showcases the best quality and alignment with input prompts. User studies further validate our high-quality rendering results, highlighting its practical utility and potential in production settings.