TUVF: Обучение обобщаемых текстурных UV-радиансных полей

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023

Авторы: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang

cs.AI

Аннотация

Текстуры являются важным аспектом создания визуально привлекательных и реалистичных 3D-моделей. В данной работе мы исследуем задачу генерации высококачественных текстур для заданных форм 3D-объектов, которая до сих пор была менее изученной по сравнению с общей задачей моделирования 3D-форм. Наша цель — обеспечить контролируемый процесс генерации текстур, при котором один текстурирующий код может соответствовать определённому стилю внешнего вида, независимо от входных форм объектов из одной категории. Мы представляем метод Texture UV Radiance Fields (TUVF), который генерирует текстуры в обучаемом UV-сферическом пространстве, а не непосредственно на 3D-форме. Это позволяет отделить текстуру от базовой формы и переносить её на другие объекты, которые используют то же UV-пространство, то есть принадлежат к той же категории. Мы интегрируем UV-сферическое пространство с полем излучения, что обеспечивает более эффективное и точное представление текстур по сравнению с традиционными текстурными картами. Мы проводим эксперименты на наборах данных реальных объектов, где достигаем не только реалистичного синтеза, но и значительного улучшения в управлении и редактировании текстур по сравнению с современными методами. Страница проекта: https://www.anjiecheng.me/TUVF

English

Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF