FlashTex: Schnelle neu beleuchtbare Mesh-Texturierung mit LightControlNet

FlashTex: Fast Relightable Mesh Texturing with LightControlNet

February 20, 2024

Autoren: Kangle Deng, Timothy Omernick, Alexander Weiss, Deva Ramanan, Jun-Yan Zhu, Tinghui Zhou, Maneesh Agrawala

cs.AI

Zusammenfassung

Das manuelle Erstellen von Texturen für 3D-Meshes ist zeitaufwendig, selbst für erfahrene visuelle Content-Ersteller. Wir schlagen einen schnellen Ansatz vor, um ein eingegebenes 3D-Mesh automatisch basierend auf einem vom Benutzer bereitgestellten Textprompt zu texturieren. Unser Ansatz trennt dabei die Beleuchtung von der Oberflächenbeschaffenheit/Reflektanz in der resultierenden Textur, sodass das Mesh in jeder Beleuchtungsumgebung korrekt neu beleuchtet und gerendert werden kann. Wir stellen LightControlNet vor, ein neues Text-zu-Bild-Modell, das auf der ControlNet-Architektur basiert und es ermöglicht, die gewünschte Beleuchtung als Konditionierungsbild für das Modell anzugeben. Unsere Text-zu-Textur-Pipeline erstellt die Textur in zwei Stufen. In der ersten Stufe wird ein spärlicher Satz visuell konsistenter Referenzansichten des Meshes mithilfe von LightControlNet erzeugt. Die zweite Stufe wendet eine Texturoptimierung basierend auf Score Distillation Sampling (SDS) an, die mit LightControlNet zusammenarbeitet, um die Texturqualität zu erhöhen und gleichzeitig die Oberflächenbeschaffenheit von der Beleuchtung zu trennen. Unsere Pipeline ist deutlich schneller als bisherige Text-zu-Textur-Methoden und erzeugt dabei hochwertige und neu beleuchtbare Texturen.

English

Manually creating textures for 3D meshes is time-consuming, even for expert visual content creators. We propose a fast approach for automatically texturing an input 3D mesh based on a user-provided text prompt. Importantly, our approach disentangles lighting from surface material/reflectance in the resulting texture so that the mesh can be properly relit and rendered in any lighting environment. We introduce LightControlNet, a new text-to-image model based on the ControlNet architecture, which allows the specification of the desired lighting as a conditioning image to the model. Our text-to-texture pipeline then constructs the texture in two stages. The first stage produces a sparse set of visually consistent reference views of the mesh using LightControlNet. The second stage applies a texture optimization based on Score Distillation Sampling (SDS) that works with LightControlNet to increase the texture quality while disentangling surface material from lighting. Our pipeline is significantly faster than previous text-to-texture methods, while producing high-quality and relightable textures.