TUVF: Apprendimento di Campi di Radianza UV Texture Generalizzabili

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Autori: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Abstract

Le texture sono un aspetto fondamentale per creare modelli 3D visivamente accattivanti e realistici. In questo articolo, studiamo il problema della generazione di texture ad alta fedeltà date le forme di asset 3D, un ambito relativamente meno esplorato rispetto alla modellazione generica di forme 3D. Il nostro obiettivo è facilitare un processo di generazione di texture controllabile, in modo che un codice di texture possa corrispondere a uno stile di aspetto specifico indipendentemente dalle forme di input di una categoria. Introduciamo i Texture UV Radiance Fields (TUVF), che generano texture in uno spazio UV sferico apprendibile anziché direttamente sulla forma 3D. Ciò consente di separare la texture dalla forma sottostante e di trasferirla ad altre forme che condividono lo stesso spazio UV, ovvero appartenenti alla stessa categoria. Integriamo lo spazio UV sferico con il campo di radianza, che fornisce una rappresentazione delle texture più efficiente e accurata rispetto alle tradizionali mappe di texture. Eseguiamo i nostri esperimenti su dataset di oggetti del mondo reale, ottenendo non solo una sintesi realistica, ma anche miglioramenti significativi rispetto agli stati dell'arte nel controllo e nell'editing delle texture. Pagina del progetto: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF