HyperDreamer: 단일 이미지에서 초현실적 3D 콘텐츠 생성 및 편집

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

저자: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

초록

단일 이미지로부터 3D 콘텐츠를 생성하는 것은 오랜 역사를 가진 동시에 매우 바람직한 과제입니다. 최근의 발전은 2D 확산 사전 지식을 도입하여 합리적인 결과를 얻고 있습니다. 그러나 기존 방법들은 생성 후 사용에 충분히 초현실적이지 않아, 사용자가 결과물인 3D 콘텐츠를 전 방위에서 보고, 렌더링하고, 편집할 수 없습니다. 이러한 문제를 해결하기 위해, 우리는 몇 가지 핵심 설계와 매력적인 특성을 가진 HyperDreamer를 소개합니다: 1) 관측 가능: 고해상도 텍스처를 갖춘 360도 메쉬 모델링을 통해 전 방위 관측점에서 시각적으로 매력적인 3D 모델을 생성할 수 있습니다. 2) 렌더링 가능: 세밀한 의미론적 분할과 데이터 기반 사전 지식을 통합하여 재료의 합리적인 알베도, 거칠기, 반사 특성을 학습함으로써, 의미론적 인식을 바탕으로 한 임의의 재료 추정이 가능합니다. 3) 편집 가능: 생성된 모델이나 사용자 자신의 데이터에 대해, 사용자는 몇 번의 클릭으로 원하는 영역을 선택하고 텍스트 기반 지도를 통해 텍스처를 효율적으로 편집할 수 있습니다. 광범위한 실험을 통해 HyperDreamer가 고해상도 텍스처를 가진 영역 인식 재료 모델링과 사용자 친화적인 편집을 가능하게 하는 데 효과적임을 입증했습니다. 우리는 HyperDreamer가 3D 콘텐츠 생성의 발전과 다양한 분야에서의 응용 가능성을 열어줄 것으로 기대합니다.

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.