TUVF : Apprentissage de champs de radiance UV de texture généralisables

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Auteurs: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Résumé

Les textures sont un aspect essentiel pour créer des modèles 3D visuellement attrayants et réalistes. Dans cet article, nous étudions le problème de la génération de textures haute fidélité à partir de formes d'objets 3D, un domaine relativement moins exploré par rapport à la modélisation générique de formes 3D. Notre objectif est de faciliter un processus de génération de textures contrôlable, de sorte qu'un code de texture puisse correspondre à un style d'apparence particulier, indépendamment de toute forme d'entrée d'une catégorie donnée. Nous introduisons les Texture UV Radiance Fields (TUVF), qui génèrent des textures dans un espace UV sphérique apprenable plutôt que directement sur la forme 3D. Cela permet de dissocier la texture de la forme sous-jacente et de la transférer à d'autres formes partageant le même espace UV, c'est-à-dire appartenant à la même catégorie. Nous intégrons l'espace UV sphérique avec le champ de radiance, offrant ainsi une représentation plus efficace et précise des textures par rapport aux cartes de textures traditionnelles. Nous menons nos expériences sur des ensembles de données d'objets du monde réel, où nous obtenons non seulement une synthèse réaliste, mais aussi des améliorations significatives par rapport à l'état de l'art en matière de contrôle et d'édition de textures. Page du projet : https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF