MaterialFusion：マテリアル拡散を用いた逆レンダリングの向上に関するガイドライン

MaterialFusion: Enhancing Inverse Rendering with Material Diffusion Priors

September 23, 2024

著者: Yehonathan Litman, Or Patashnik, Kangle Deng, Aviral Agrawal, Rushikesh Zawar, Fernando De la Torre, Shubham Tulsiani

cs.AI

要旨

最近の逆レンダリングの研究では、オブジェクトの多視点画像を使用して形状、アルベド、および素材を回復することが有望であることが示されています。ただし、回復されたコンポーネントは、入力画像からアルベドと素材の特性を分離するという固有の課題により、新しい照明条件下で正確にレンダリングされることがしばしばありません。この課題に対処するために、私たちはMaterialFusionを導入します。これは、テクスチャと素材の特性に関する2D事前情報を組み込んだ強化された従来の3D逆レンダリングパイプラインです。私たちは、与えられた入力外観から最も可能性の高いアルベドと素材を推定するために、マルチライトデータを洗練する2D拡散モデル事前情報であるStableMaterialを提案します。このモデルは、BlenderVaultと呼ばれる約12,000のアーティストが設計した合成Blenderオブジェクトのキュレーションデータセットから派生したアルベド、素材、および再照明画像データでトレーニングされています。私たちは、この拡散事前情報を逆レンダリングフレームワークに組み込み、スコア蒸留サンプリング（SDS）を使用してアルベドと素材の最適化をガイドし、以前の研究と比較して再照明のパフォーマンスを向上させています。私たちは、MaterialFusionの再照明パフォーマンスを、多様な照明条件下での合成および実際のオブジェクトの4つのデータセットで検証し、私たちの拡散支援アプローチが新しい照明条件下で再構築されたオブジェクトの外観を大幅に改善することを示しています。この分野でのさらなる研究を支援するために、BlenderVaultデータセットを公開する予定です。

English

Recent works in inverse rendering have shown promise in using multi-view images of an object to recover shape, albedo, and materials. However, the recovered components often fail to render accurately under new lighting conditions due to the intrinsic challenge of disentangling albedo and material properties from input images. To address this challenge, we introduce MaterialFusion, an enhanced conventional 3D inverse rendering pipeline that incorporates a 2D prior on texture and material properties. We present StableMaterial, a 2D diffusion model prior that refines multi-lit data to estimate the most likely albedo and material from given input appearances. This model is trained on albedo, material, and relit image data derived from a curated dataset of approximately ~12K artist-designed synthetic Blender objects called BlenderVault. we incorporate this diffusion prior with an inverse rendering framework where we use score distillation sampling (SDS) to guide the optimization of the albedo and materials, improving relighting performance in comparison with previous work. We validate MaterialFusion's relighting performance on 4 datasets of synthetic and real objects under diverse illumination conditions, showing our diffusion-aided approach significantly improves the appearance of reconstructed objects under novel lighting conditions. We intend to publicly release our BlenderVault dataset to support further research in this field.