共同制御を使用して、複数ビューの一貫性のあるPBRテクスチャを共同生成する

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

著者: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

要旨

画像拡散モデルにおいて、複数ビューの整合性は依然として課題となっています。幾何学的な対応が事前に既知であるText-to-Texture問題においてさえ、多くの手法がビュー間で整合した予測を生成できず、結果を元のメッシュに組み込むために複雑な融合手法が必要となります。本研究では、PBR Text-to-TextureにおけるCollaborative Controlワークフローにおけるこの問題を探究します。Collaborative Controlは、PBR画像の確率分布を直接モデリングし、法線バンプマップを含みます。私たちの知る限り、唯一の拡散モデルで完全なPBRスタックを直接出力するものです。このモデルを複数ビューで整合性を持たせるための設計上の決定について議論し、私たちのアプローチの有効性を消融研究や実用的な応用において示します。

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.