FlashTex: LightControlNet을 활용한 빠른 재조명 가능 메쉬 텍스처링

초록

3D 메쉬에 대한 텍스처를 수동으로 생성하는 것은 전문 시각 콘텐츠 제작자에게도 시간이 많이 소요되는 작업입니다. 우리는 사용자가 제공한 텍스트 프롬프트를 기반으로 입력된 3D 메쉬에 자동으로 텍스처를 입히는 빠른 접근 방식을 제안합니다. 특히, 우리의 접근 방식은 결과 텍스처에서 조명을 표면 재질/반사율과 분리하여 메쉬가 어떤 조명 환경에서도 적절히 재조명되고 렌더링될 수 있도록 합니다. 우리는 ControlNet 아키텍처를 기반으로 한 새로운 텍스트-이미지 모델인 LightControlNet을 소개합니다. 이 모델은 원하는 조명을 조건부 이미지로 지정할 수 있게 해줍니다. 우리의 텍스트-텍스처 파이프라인은 두 단계로 텍스처를 구성합니다. 첫 번째 단계에서는 LightControlNet을 사용하여 메쉬의 시각적으로 일관된 희소 참조 뷰 세트를 생성합니다. 두 번째 단계에서는 LightControlNet과 함께 작동하는 Score Distillation Sampling (SDS) 기반의 텍스처 최적화를 적용하여 텍스처 품질을 높이면서도 표면 재질과 조명을 분리합니다. 우리의 파이프라인은 기존의 텍스트-텍스처 방법들보다 훨씬 빠르면서도 고품질의 재조명 가능한 텍스처를 생성합니다.

English

Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our pipeline is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.

FlashTex: LightControlNet을 활용한 빠른 재조명 가능 메쉬 텍스처링

FlashTex: Fast Relightable Mesh Texturing with LightControlNet

초록

Support