TextureDreamer: ジオメトリ認識拡散モデルによる画像誘導型テクスチャ合成

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

著者: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

要旨

本論文では、TextureDreamerという新しい画像誘導型テクスチャ合成手法を提案します。この手法は、少数の入力画像（3～5枚）から再照明可能なテクスチャを任意のカテゴリのターゲット3D形状に転送します。テクスチャ作成は、ビジョンとグラフィックスにおける重要な課題です。産業界では、経験豊富なアーティストを雇って3Dアセットのテクスチャを手作業で作成しています。従来の手法では、密にサンプリングされたビューと正確に整列したジオメトリが必要であり、学習ベースの手法はデータセット内のカテゴリ固有の形状に限定されていました。これに対し、TextureDreamerは、現実世界の環境から高度に詳細で複雑なテクスチャを、わずか数枚のカジュアルに撮影された画像だけで任意のオブジェクトに転送することができ、テクスチャ作成の大幅な民主化が期待されます。私たちの核となるアイデアであるパーソナライズドジオメトリ認識スコア蒸留（PGSD）は、テクスチャ情報抽出のためのパーソナライズドモデリング、詳細な外観合成のための変分スコア蒸留、ControlNetを用いた明示的なジオメトリガイダンスなど、拡散モデルの最近の進展からインスピレーションを得ています。私たちの統合といくつかの重要な改良により、テクスチャ品質が大幅に向上しました。異なるカテゴリにわたる実画像での実験では、TextureDreamerが高度にリアルで意味的に意味のあるテクスチャを任意のオブジェクトに転送し、従来の最先端技術の視覚品質を凌駕することが示されました。

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.