MaRI：ドメイン横断的なマテリアル検索統合

MaRI: Material Retrieval Integration across Domains

March 11, 2025

著者: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

要旨

正確なマテリアル検索は、リアルな3Dアセットを作成する上で極めて重要です。既存の手法は、形状不変かつ照明変化を捉えたマテリアルのデータセットに依存していますが、そのようなデータセットは稀少であり、多様性の不足や現実世界への汎化能力の欠如といった課題に直面しています。現在のほとんどのアプローチは、従来の画像検索技術を採用していますが、これらはマテリアル空間の独特な特性を十分に捉えることができず、検索タスクにおいて最適な性能を発揮できていません。これらの課題に対処するため、我々はMaRIというフレームワークを提案します。MaRIは、合成マテリアルと現実世界のマテリアルの間の特徴空間のギャップを埋めるために設計されており、画像エンコーダとマテリアルエンコーダを共同で訓練することで、視覚的属性とマテリアル属性を調和させた共有埋め込み空間を構築します。これにより、類似するマテリアルと画像を特徴空間内で近づけ、非類似のペアを遠ざけるコントラスティブ学習戦略を採用しています。これを支援するため、我々は制御された形状変化と多様な照明条件でレンダリングされた高品質な合成マテリアル、およびマテリアル転送技術を用いて処理・標準化された現実世界のマテリアルを含む包括的なデータセットを構築しました。広範な実験により、MaRIが多様で複雑なマテリアル検索タスクにおいて、既存の手法を凌駕する優れた性能、精度、および汎化能力を発揮することが実証されています。

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.