ControlMat: 制御された生成アプローチによるマテリアルキャプチャ

ControlMat: A Controlled Generative Approach to Material Capture

September 4, 2023

著者: Giuseppe Vecchio, Rosalie Martin, Arthur Roullier, Adrien Kaiser, Romain Rouffet, Valentin Deschaintre, Tamy Boubekeur

cs.AI

要旨

写真からの素材再構築は、3Dコンテンツ制作の民主化における重要な要素です。本研究では、この不良設定問題を制御された合成問題として定式化し、生成ディープネットワークの最近の進展を活用します。我々はControlMatを提案します。これは、制御されていない照明条件下の単一の写真を入力として与えられた場合、拡散モデルを条件付けして、妥当でタイル可能な高解像度の物理ベースデジタル素材を生成する手法です。我々は、マルチチャネル出力に対する拡散モデルの挙動を詳細に分析し、マルチスケール情報を融合するためにサンプリングプロセスを適応させ、タイル可能性と高解像度出力を可能にするためにロールド拡散とパッチド拡散を導入します。我々の生成アプローチはさらに、未知の照明条件を緩和し、入力画像に対応する多様な素材の探索を可能にします。我々は、このアプローチが最近の推論法や潜在空間最適化法を上回ることを示し、拡散プロセスの設計選択を慎重に検証します。補足資料と追加の詳細は以下で利用可能です: https://gvecchio.com/controlmat/

English

Material reconstruction from a photograph is a key component of 3D content creation democratization. We propose to formulate this ill-posed problem as a controlled synthesis one, leveraging the recent progress in generative deep networks. We present ControlMat, a method which, given a single photograph with uncontrolled illumination as input, conditions a diffusion model to generate plausible, tileable, high-resolution physically-based digital materials. We carefully analyze the behavior of diffusion models for multi-channel outputs, adapt the sampling process to fuse multi-scale information and introduce rolled diffusion to enable both tileability and patched diffusion for high-resolution outputs. Our generative approach further permits exploration of a variety of materials which could correspond to the input image, mitigating the unknown lighting conditions. We show that our approach outperforms recent inference and latent-space-optimization methods, and carefully validate our diffusion process design choices. Supplemental materials and additional details are available at: https://gvecchio.com/controlmat/.