HAAR: 텍스트 조건 기반 3D 스트랜드 방식 인간 헤어스타일 생성 모델

HAAR: Text-Conditioned Generative Model of 3D Strand-based Human Hairstyles

December 18, 2023

저자: Vanessa Sklyarova, Egor Zakharov, Otmar Hilliges, Michael J. Black, Justus Thies

cs.AI

초록

본 논문에서는 3D 인간 헤어스타일을 위한 새로운 스트랜드 기반 생성 모델인 HAAR를 소개합니다. 구체적으로, HAAR는 텍스트 입력을 기반으로 현대 컴퓨터 그래픽 엔진에서 프로덕션 수준의 자산으로 사용될 수 있는 3D 헤어스타일을 생성합니다. 현재의 AI 기반 생성 모델들은 강력한 2D 사전 지식을 활용하여 포인트 클라우드, 메쉬 또는 볼륨 함수 형태의 3D 콘텐츠를 재구성합니다. 그러나 이러한 2D 사전 지식을 사용함으로써, 이들은 본질적으로 시각적 부분만을 복구하는 데 제한됩니다. 심하게 가려진 헤어 구조는 이러한 방법으로 재구성할 수 없으며, 이들은 단지 '외부 껍질'만을 모델링하여 물리 기반 렌더링이나 시뮬레이션 파이프라인에서 사용할 준비가 되어 있지 않습니다. 이와 대조적으로, 우리는 3D 헤어 스트랜드를 기본 표현으로 사용하는 최초의 텍스트 가이드 생성 방법을 제안합니다. 2D 시각적 질문-응답(VQA) 시스템을 활용하여, 소수의 아티스트가 생성한 헤어스타일에서 생성된 합성 헤어 모델을 자동으로 주석 처리합니다. 이를 통해 공통 헤어스타일 UV 공간에서 작동하는 잠재 확산 모델을 학습할 수 있습니다. 정성적 및 정량적 연구에서, 우리는 제안된 모델의 능력을 입증하고 기존 헤어스타일 생성 접근법과 비교합니다.

English

We present HAAR, a new strand-based generative model for 3D human hairstyles. Specifically, based on textual inputs, HAAR produces 3D hairstyles that could be used as production-level assets in modern computer graphics engines. Current AI-based generative models take advantage of powerful 2D priors to reconstruct 3D content in the form of point clouds, meshes, or volumetric functions. However, by using the 2D priors, they are intrinsically limited to only recovering the visual parts. Highly occluded hair structures can not be reconstructed with those methods, and they only model the ''outer shell'', which is not ready to be used in physics-based rendering or simulation pipelines. In contrast, we propose a first text-guided generative method that uses 3D hair strands as an underlying representation. Leveraging 2D visual question-answering (VQA) systems, we automatically annotate synthetic hair models that are generated from a small set of artist-created hairstyles. This allows us to train a latent diffusion model that operates in a common hairstyle UV space. In qualitative and quantitative studies, we demonstrate the capabilities of the proposed model and compare it to existing hairstyle generation approaches.