TUVF: Aprendendo Campos de Radiação UV de Textura Generalizáveis

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Autores: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Resumo

As texturas são um aspecto vital para a criação de modelos 3D visualmente atraentes e realistas. Neste artigo, estudamos o problema de gerar texturas de alta fidelidade dadas as formas de ativos 3D, um tópico que tem sido relativamente menos explorado em comparação com a modelagem genérica de formas 3D. Nosso objetivo é facilitar um processo de geração de texturas controlável, de modo que um código de textura possa corresponder a um estilo de aparência específico, independentemente de qualquer forma de entrada de uma categoria. Introduzimos os Campos de Radiação UV de Textura (Texture UV Radiance Fields, TUVF), que geram texturas em um espaço esférico UV aprendível, em vez de diretamente na forma 3D. Isso permite que a textura seja desacoplada da forma subjacente e transferível para outras formas que compartilham o mesmo espaço UV, ou seja, da mesma categoria. Integramos o espaço esférico UV com o campo de radiação, o que fornece uma representação mais eficiente e precisa das texturas em comparação com os mapas de textura tradicionais. Realizamos nossos experimentos em conjuntos de dados de objetos do mundo real, onde alcançamos não apenas sínteses realistas, mas também melhorias substanciais em relação ao estado da arte no controle e edição de texturas. Página do Projeto: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF