FlashTex: Snelle Herbelichtbare Mesh-texturering met LightControlNet

FlashTex: Fast Relightable Mesh Texturing with LightControlNet

February 20, 2024

Auteurs: Kangle Deng, Timothy Omernick, Alexander Weiss, Deva Ramanan, Jun-Yan Zhu, Tinghui Zhou, Maneesh Agrawala

cs.AI

Samenvatting

Het handmatig creëren van texturen voor 3D-meshes is tijdrovend, zelfs voor ervaren visuele contentmakers. Wij stellen een snelle aanpak voor om automatisch een input 3D-mesh te textureren op basis van een door de gebruiker opgegeven tekstprompt. Belangrijk is dat onze aanpak belichting loskoppelt van het oppervlaktemateriaal/reflectie in de resulterende textuur, zodat de mesh correct opnieuw belicht en gerenderd kan worden in elke lichtomgeving. We introduceren LightControlNet, een nieuw tekst-naar-beeldmodel gebaseerd op de ControlNet-architectuur, dat de specificatie van de gewenste belichting mogelijk maakt als een conditionerende afbeelding voor het model. Onze tekst-naar-textuurpipeline construeert vervolgens de textuur in twee fasen. De eerste fase produceert een spaarse set van visueel consistente referentiebeelden van de mesh met behulp van LightControlNet. De tweede fase past een textuuroptimalisatie toe gebaseerd op Score Distillation Sampling (SDS) die samenwerkt met LightControlNet om de textuurkwaliteit te verhogen terwijl het oppervlaktemateriaal wordt losgekoppeld van de belichting. Onze pipeline is aanzienlijk sneller dan eerdere tekst-naar-textuurmethoden, terwijl het hoogwaardige en herbelichtbare texturen produceert.

English

Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our pipeline is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.