TUVF: Aprendizaje de Campos de Radiancia UV de Textura Generalizables

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Autores: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Resumen

Las texturas son un aspecto fundamental para crear modelos 3D visualmente atractivos y realistas. En este artículo, estudiamos el problema de generar texturas de alta fidelidad dadas las formas de activos 3D, un área que ha sido relativamente menos explorada en comparación con el modelado genérico de formas 3D. Nuestro objetivo es facilitar un proceso de generación de texturas controlable, de modo que un código de textura pueda corresponder a un estilo de apariencia particular independientemente de cualquier forma de entrada de una categoría. Introducimos Texture UV Radiance Fields (TUVF), que generan texturas en un espacio esférico UV aprendible en lugar de hacerlo directamente sobre la forma 3D. Esto permite que la textura se desacople de la forma subyacente y sea transferible a otras formas que comparten el mismo espacio UV, es decir, de la misma categoría. Integramos el espacio esférico UV con el campo de radiancia, lo que proporciona una representación más eficiente y precisa de las texturas en comparación con los mapas de textura tradicionales. Realizamos nuestros experimentos en conjuntos de datos de objetos del mundo real, donde logramos no solo una síntesis realista, sino también mejoras sustanciales sobre los métodos más avanzados en el control y edición de texturas. Página del proyecto: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF