TUVF: 일반화 가능한 텍스처 UV 방사 필드 학습
TUVF: Learning Generalizable Texture UV Radiance Fields
May 4, 2023
저자: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang
cs.AI
초록
텍스처는 시각적으로 매력적이고 사실적인 3D 모델을 만드는 데 있어 중요한 요소입니다. 본 논문에서는 일반적인 3D 형태 모델링에 비해 상대적으로 덜 탐구된 3D 자산의 형태가 주어졌을 때 고품질 텍스처를 생성하는 문제를 연구합니다. 우리의 목표는 특정 카테고리의 입력 형태와 독립적으로 하나의 텍스처 코드가 특정 외관 스타일에 대응할 수 있도록 제어 가능한 텍스처 생성 프로세스를 용이하게 하는 것입니다. 우리는 3D 형태에 직접 텍스처를 생성하는 대신 학습 가능한 UV 구체 공간에서 텍스처를 생성하는 Texture UV Radiance Fields(TUVF)를 소개합니다. 이를 통해 텍스처가 기본 형태로부터 분리되고 동일한 UV 공간을 공유하는 다른 형태로 전이될 수 있게 합니다. 우리는 UV 구체 공간을 radiance field와 통합하여 기존의 텍스처 맵보다 더 효율적이고 정확한 텍스처 표현을 제공합니다. 우리는 실제 객체 데이터셋에서 실험을 수행하여 사실적인 합성뿐만 아니라 텍스처 제어 및 편집에서 최신 기술 대비 상당한 개선을 달성했습니다. 프로젝트 페이지: https://www.anjiecheng.me/TUVF
English
Textures are a vital aspect of creating visually appealing and realistic 3D
models. In this paper, we study the problem of generating high-fidelity texture
given shapes of 3D assets, which has been relatively less explored compared
with generic 3D shape modeling. Our goal is to facilitate a controllable
texture generation process, such that one texture code can correspond to a
particular appearance style independent of any input shapes from a category. We
introduce Texture UV Radiance Fields (TUVF) that generate textures in a
learnable UV sphere space rather than directly on the 3D shape. This allows the
texture to be disentangled from the underlying shape and transferable to other
shapes that share the same UV space, i.e., from the same category. We integrate
the UV sphere space with the radiance field, which provides a more efficient
and accurate representation of textures than traditional texture maps. We
perform our experiments on real-world object datasets where we achieve not only
realistic synthesis but also substantial improvements over state-of-the-arts on
texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF