TUVF: Lernen generalisierbarer Textur-UV-Radiance-Felder

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Autoren: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Zusammenfassung

Texturen sind ein wesentlicher Aspekt bei der Erstellung visuell ansprechender und realistischer 3D-Modelle. In dieser Arbeit untersuchen wir das Problem der Erzeugung hochwertiger Texturen basierend auf den Formen von 3D-Objekten, ein Bereich, der im Vergleich zur generischen 3D-Formmodellierung bisher weniger erforscht wurde. Unser Ziel ist es, einen kontrollierbaren Texturgenerierungsprozess zu ermöglichen, bei dem ein Texturcode einem bestimmten Erscheinungsstil entsprechen kann, unabhängig von den Eingabeformen innerhalb einer Kategorie. Wir führen Texture UV Radiance Fields (TUVF) ein, die Texturen in einem lernbaren UV-Kugelraum erzeugen, anstatt direkt auf der 3D-Form. Dies ermöglicht es, die Textur von der zugrunde liegenden Form zu entkoppeln und auf andere Formen zu übertragen, die denselben UV-Raum teilen, d. h. aus derselben Kategorie. Wir integrieren den UV-Kugelraum mit dem Radiance Field, was eine effizientere und genauere Darstellung von Texturen im Vergleich zu traditionellen Texturkarten bietet. Wir führen unsere Experimente auf realen Objektdatensätzen durch, bei denen wir nicht nur realistische Synthesen erreichen, sondern auch erhebliche Verbesserungen gegenüber dem Stand der Technik in Bezug auf Textursteuerung und -bearbeitung erzielen. Projektseite: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF