TUVF: Het leren van generaliseerbare textuur UV-stralingsvelden

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Auteurs: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Samenvatting

Texturen zijn een essentieel aspect voor het creëren van visueel aantrekkelijke en realistische 3D-modellen. In dit artikel bestuderen we het probleem van het genereren van hoogwaardige texturen op basis van de vormen van 3D-assets, een onderwerp dat relatief minder is onderzocht in vergelijking met generieke 3D-vormmodellering. Ons doel is om een controleerbaar textuurgeneratieproces mogelijk te maken, waarbij één textuurcode kan overeenkomen met een specifieke uiterlijke stijl, onafhankelijk van de invoervormen binnen een categorie. We introduceren Texture UV Radiance Fields (TUVF), die texturen genereren in een leerbare UV-sfeerruimte in plaats van direct op de 3D-vorm. Hierdoor kan de textuur worden losgekoppeld van de onderliggende vorm en worden overgedragen naar andere vormen die dezelfde UV-ruimte delen, d.w.z. binnen dezelfde categorie. We integreren de UV-sfeerruimte met het radiance field, wat een efficiëntere en nauwkeurigere weergave van texturen biedt dan traditionele texture maps. We voeren onze experimenten uit op datasets van objecten uit de echte wereld, waarbij we niet alleen realistische synthese bereiken, maar ook aanzienlijke verbeteringen laten zien ten opzichte van state-of-the-art methoden op het gebied van textuurcontrole en -bewerking. Projectpagina: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF