TexGen: マルチビューサンプリングとリサンプリングによるテキストガイド型3Dテクスチャ生成

TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling

August 2, 2024

著者: Dong Huo, Zixin Guo, Xinxin Zuo, Zhihao Shi, Juwei Lu, Peng Dai, Songcen Xu, Li Cheng, Yee-Hong Yang

cs.AI

要旨

3Dメッシュが与えられた場合、任意のテキスト記述に対応する3Dテクスチャを合成することを目指します。現在の方法では、サンプリングされたビューからテクスチャを生成および組み立てる際に、目立つ継ぎ目や過度の平滑化が生じることがよくあります。これらの問題に対処するため、我々はTexGenを提案します。これは、事前学習済みのテキストから画像への拡散モデルを活用した、テクスチャ生成のための新しいマルチビューサンプリングおよびリサンプリングフレームワークです。ビュー整合性を保つサンプリングのために、まず、RGB空間にテクスチャマップを維持し、拡散モデルの各サンプリングステップ後に更新して、ビューの不一致を段階的に減少させます。注意誘導型のマルチビューサンプリング戦略を利用して、ビュー間で外観情報を広めます。テクスチャの詳細を保持するために、ノイズリサンプリング技術を開発し、テキストプロンプトと現在のテクスチャマップに基づいて、後続のノイズ除去ステップのための入力を生成する際にノイズの推定を支援します。質的および量的な評価を通じて、提案手法が多様な3Dオブジェクトに対して、高いビュー整合性と豊富な外観詳細を備えた、大幅に優れたテクスチャ品質を生成することを実証し、現在の最先端の手法を凌駕することを示します。さらに、提案するテクスチャ生成技術は、元のアイデンティティを保持しながらテクスチャ編集にも適用可能です。追加の実験結果はhttps://dong-huo.github.io/TexGen/でご覧いただけます。

English

Given a 3D mesh, we aim to synthesize 3D textures that correspond to arbitrary textual descriptions. Current methods for generating and assembling textures from sampled views often result in prominent seams or excessive smoothing. To tackle these issues, we present TexGen, a novel multi-view sampling and resampling framework for texture generation leveraging a pre-trained text-to-image diffusion model. For view consistent sampling, first of all we maintain a texture map in RGB space that is parameterized by the denoising step and updated after each sampling step of the diffusion model to progressively reduce the view discrepancy. An attention-guided multi-view sampling strategy is exploited to broadcast the appearance information across views. To preserve texture details, we develop a noise resampling technique that aids in the estimation of noise, generating inputs for subsequent denoising steps, as directed by the text prompt and current texture map. Through an extensive amount of qualitative and quantitative evaluations, we demonstrate that our proposed method produces significantly better texture quality for diverse 3D objects with a high degree of view consistency and rich appearance details, outperforming current state-of-the-art methods. Furthermore, our proposed texture generation technique can also be applied to texture editing while preserving the original identity. More experimental results are available at https://dong-huo.github.io/TexGen/