ChatPaper.aiChatPaper

TUVF: 一般化可能なテクスチャUV放射フィールドの学習

TUVF: Learning Generalizable Texture UV Radiance Fields

May 4, 2023
著者: An-Chieh Cheng, Xueting Li, Sifei Liu, Xiaolong Wang
cs.AI

要旨

テクスチャは、視覚的に魅力的でリアルな3Dモデルを作成する上で重要な要素です。本論文では、3Dアセットの形状が与えられた際に高精細なテクスチャを生成する問題について研究します。この問題は、一般的な3D形状モデリングと比較して、これまであまり探索されてきませんでした。我々の目標は、特定のカテゴリに属する入力形状に依存せず、1つのテクスチャコードが特定の外観スタイルに対応するような、制御可能なテクスチャ生成プロセスを実現することです。我々は、3D形状上で直接テクスチャを生成するのではなく、学習可能なUV球面空間でテクスチャを生成するTexture UV Radiance Fields (TUVF)を提案します。これにより、テクスチャは基盤となる形状から切り離され、同じUV空間を共有する他の形状(つまり、同じカテゴリに属する形状)に転送可能になります。我々は、UV球面空間をラジアンスフィールドと統合し、従来のテクスチャマップよりも効率的で正確なテクスチャ表現を実現します。実世界のオブジェクトデータセットを用いて実験を行い、リアルな合成だけでなく、テクスチャの制御と編集において最新技術を大幅に上回る改善を達成しました。プロジェクトページ: https://www.anjiecheng.me/TUVF
English
Textures are a vital aspect of creating visually appealing and realistic 3D models. In this paper, we study the problem of generating high-fidelity texture given shapes of 3D assets, which has been relatively less explored compared with generic 3D shape modeling. Our goal is to facilitate a controllable texture generation process, such that one texture code can correspond to a particular appearance style independent of any input shapes from a category. We introduce Texture UV Radiance Fields (TUVF) that generate textures in a learnable UV sphere space rather than directly on the 3D shape. This allows the texture to be disentangled from the underlying shape and transferable to other shapes that share the same UV space, i.e., from the same category. We integrate the UV sphere space with the radiance field, which provides a more efficient and accurate representation of textures than traditional texture maps. We perform our experiments on real-world object datasets where we achieve not only realistic synthesis but also substantial improvements over state-of-the-arts on texture controlling and editing. Project Page: https://www.anjiecheng.me/TUVF
PDF10December 15, 2024