IDArb: 任意の入力ビュー数と照明のための固有分解

IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations

December 16, 2024

著者: Zhibing Li, Tong Wu, Jing Tan, Mengchen Zhang, Jiaqi Wang, Dahua Lin

cs.AI

要旨

画像から幾何学的および物質情報を抽出することは、コンピュータビジョンとグラフィックスにおける基本的な課題です。従来の最適化ベースの手法は、密なマルチビュー入力から幾何形状、物質特性、環境光を再構築するために数時間の計算時間を要し、光と物質の間に固有の曖昧さに苦しんでいます。一方、学習ベースのアプローチは既存の3Dオブジェクトデータセットから豊富な物質事前知識を活用しますが、マルチビューの一貫性を維持することに課題があります。本論文では、異なる照明条件下で任意の数の画像に対して固有分解を実行するために設計された拡散ベースのモデルであるIDArbを紹介します。当該手法は、表面法線と物質特性に対する正確でマルチビューの一貫した推定を実現します。これは、新しいクロスビュー、クロスドメインの注意モジュールと、照明を増強し、ビューに適応したトレーニング戦略を通じて可能となります。さらに、大規模なマルチビュー固有データと多様な照明条件下でのレンダリングを提供する新しいデータセットであるARB-Objaverseを紹介します。これにより、堅牢なトレーニングがサポートされます。包括的な実験により、IDArbが定性的および定量的に最先端の手法を上回ることが示されます。さらに、当該アプローチは、シングルイメージのリライティング、フォトメトリックステレオ、および3D再構築を含むさまざまな下流タスクを容易にし、現実的な3Dコンテンツ作成における幅広い応用を示しています。

English

Capturing geometric and material information from images remains a fundamental challenge in computer vision and graphics. Traditional optimization-based methods often require hours of computational time to reconstruct geometry, material properties, and environmental lighting from dense multi-view inputs, while still struggling with inherent ambiguities between lighting and material. On the other hand, learning-based approaches leverage rich material priors from existing 3D object datasets but face challenges with maintaining multi-view consistency. In this paper, we introduce IDArb, a diffusion-based model designed to perform intrinsic decomposition on an arbitrary number of images under varying illuminations. Our method achieves accurate and multi-view consistent estimation on surface normals and material properties. This is made possible through a novel cross-view, cross-domain attention module and an illumination-augmented, view-adaptive training strategy. Additionally, we introduce ARB-Objaverse, a new dataset that provides large-scale multi-view intrinsic data and renderings under diverse lighting conditions, supporting robust training. Extensive experiments demonstrate that IDArb outperforms state-of-the-art methods both qualitatively and quantitatively. Moreover, our approach facilitates a range of downstream tasks, including single-image relighting, photometric stereo, and 3D reconstruction, highlighting its broad applications in realistic 3D content creation.