MaRI : Intégration de la récupération de matériaux à travers les domaines

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Auteurs: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Résumé

La récupération précise de matériaux est essentielle pour créer des ressources 3D réalistes. Les méthodes existantes s'appuient sur des ensembles de données qui capturent des représentations invariantes à la forme et variées en termes d'éclairage des matériaux, lesquelles sont rares et confrontées à des défis dus à une diversité limitée et à une généralisation insuffisante dans le monde réel. La plupart des approches actuelles adoptent des techniques traditionnelles de recherche d'images. Elles ne parviennent pas à capturer les propriétés uniques des espaces de matériaux, ce qui entraîne des performances sous-optimales dans les tâches de récupération. Pour relever ces défis, nous introduisons MaRI, un cadre conçu pour combler l'écart entre les espaces de caractéristiques des matériaux synthétiques et réels. MaRI construit un espace d'embedding partagé qui harmonise les attributs visuels et matériels grâce à une stratégie d'apprentissage contrastif en entraînant conjointement un encodeur d'images et un encodeur de matériaux, rapprochant ainsi les matériaux et images similaires tout en séparant les paires dissemblables dans l'espace de caractéristiques. Pour soutenir cela, nous avons construit un ensemble de données complet comprenant des matériaux synthétiques de haute qualité rendus avec des variations de forme contrôlées et des conditions d'éclairage variées, ainsi que des matériaux réels traités et standardisés à l'aide de techniques de transfert de matériaux. Des expériences approfondies démontrent la performance supérieure, la précision et les capacités de généralisation de MaRI dans des tâches de récupération de matériaux diversifiées et complexes, surpassant les méthodes existantes.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.