Garment3DGen: 3D 의상 스타일화 및 텍스처 생성

Garment3DGen: 3D Garment Stylization and Texture Generation

March 27, 2024

저자: Nikolaos Sarafianos, Tuur Stuyck, Xiaoyu Xiang, Yilei Li, Jovan Popovic, Rakesh Ranjan

cs.AI

초록

우리는 단일 입력 이미지를 가이드로 사용하여 기본 메시에서 3D 의류 자산을 합성하는 새로운 방법인 Garment3DGen을 소개합니다. 우리가 제안한 접근 방식은 사용자가 실제 이미지와 텍스트 프롬프트로 생성된 합성 이미지를 기반으로 텍스처가 적용된 3D 의류를 생성할 수 있게 합니다. 생성된 자산은 인간의 몸에 직접 드레이핑(draping) 및 시뮬레이션될 수 있습니다. 먼저, 우리는 최근의 이미지에서 3D로의 확산(diffusion) 방법의 발전을 활용하여 3D 의류 형상을 생성합니다. 그러나 이러한 형상은 다운스트림 작업에 직접 사용될 수 없기 때문에, 이를 가짜 그라운드 트루(pseudo ground-truth)로 사용하고 생성된 3D 타겟과 일치하도록 기본 템플릿 메시를 변형하는 메시 변형 최적화 절차를 설정합니다. 둘째, 우리는 입력 기본 메시가 원하는 타겟으로 자유롭게 변형될 수 있으면서도 메시 품질과 토폴로지를 보존하여 시뮬레이션이 가능하도록 신중하게 설계된 손실 함수를 도입합니다. 마지막으로, 텍스처 추정 모듈은 전역적 및 지역적으로 일관되고 입력 가이드를 충실히 반영하는 고품질 텍스처 맵을 생성하여 생성된 3D 자산을 렌더링할 수 있게 합니다. Garment3DGen을 통해 사용자는 아티스트의 개입 없이 원하는 텍스처가 적용된 3D 의류를 생성할 수 있습니다. 사용자는 원하는 의류를 설명하는 텍스트 프롬프트를 제공하여 시뮬레이션 준비가 된 3D 자산을 생성할 수 있습니다. 우리는 다양한 실제 및 생성된 자산에 대한 수많은 정량적 및 정성적 비교를 제시하고 시뮬레이션 준비가 된 3D 의류를 생성할 수 있는 사용 사례를 제공합니다.

English

We introduce Garment3DGen a new method to synthesize 3D garment assets from a base mesh given a single input image as guidance. Our proposed approach allows users to generate 3D textured clothes based on both real and synthetic images, such as those generated by text prompts. The generated assets can be directly draped and simulated on human bodies. First, we leverage the recent progress of image to 3D diffusion methods to generate 3D garment geometries. However, since these geometries cannot be utilized directly for downstream tasks, we propose to use them as pseudo ground-truth and set up a mesh deformation optimization procedure that deforms a base template mesh to match the generated 3D target. Second, we introduce carefully designed losses that allow the input base mesh to freely deform towards the desired target, yet preserve mesh quality and topology such that they can be simulated. Finally, a texture estimation module generates high-fidelity texture maps that are globally and locally consistent and faithfully capture the input guidance, allowing us to render the generated 3D assets. With Garment3DGen users can generate the textured 3D garment of their choice without the need of artist intervention. One can provide a textual prompt describing the garment they desire to generate a simulation-ready 3D asset. We present a plethora of quantitative and qualitative comparisons on various assets both real and generated and provide use-cases of how one can generate simulation-ready 3D garments.