FlashTex: Texturização Rápida de Malhas com Reluminância Usando LightControlNet

FlashTex: Fast Relightable Mesh Texturing with LightControlNet

February 20, 2024

Autores: Kangle Deng, Timothy Omernick, Alexander Weiss, Deva Ramanan, Jun-Yan Zhu, Tinghui Zhou, Maneesh Agrawala

cs.AI

Resumo

A criação manual de texturas para malhas 3D é demorada, mesmo para criadores de conteúdo visual experientes. Propomos uma abordagem rápida para texturizar automaticamente uma malha 3D de entrada com base em um prompt de texto fornecido pelo usuário. De forma crucial, nossa abordagem separa a iluminação do material/reflectância da superfície na textura resultante, permitindo que a malha seja corretamente reiluminada e renderizada em qualquer ambiente de iluminação. Introduzimos o LightControlNet, um novo modelo de texto para imagem baseado na arquitetura ControlNet, que permite especificar a iluminação desejada como uma imagem de condicionamento para o modelo. Nosso pipeline de texto para textura constrói a textura em duas etapas. A primeira etapa produz um conjunto esparso de vistas de referência visualmente consistentes da malha usando o LightControlNet. A segunda etapa aplica uma otimização de textura baseada em Score Distillation Sampling (SDS) que trabalha com o LightControlNet para aumentar a qualidade da textura enquanto separa o material da superfície da iluminação. Nosso pipeline é significativamente mais rápido do que os métodos anteriores de texto para textura, produzindo texturas de alta qualidade e reilumináveis.

English

Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our pipeline is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.