MaRI: Materiaal Retrieval Integratie over Domeinen

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Auteurs: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Samenvatting

Nauwkeurige materiaalretrieval is essentieel voor het creëren van realistische 3D-assets. Bestaande methoden vertrouwen op datasets die vorminvariante en lichtvariabele representaties van materialen vastleggen, die schaars zijn en uitdagingen ondervinden door beperkte diversiteit en onvoldoende generalisatie naar de echte wereld. De meeste huidige benaderingen maken gebruik van traditionele technieken voor beeldzoekopdrachten. Deze schieten tekort in het vastleggen van de unieke eigenschappen van materiaalruimtes, wat leidt tot suboptimale prestaties bij retrievaultaken. Om deze uitdagingen aan te pakken, introduceren we MaRI, een raamwerk ontworpen om de kloof in de kenmerkruimte tussen synthetische en real-world materialen te overbruggen. MaRI construeert een gedeelde inbeddingsruimte die visuele en materiaalattributen harmoniseert door middel van een contrastieve leerstrategie, waarbij een beeld- en materiaalencoder gezamenlijk worden getraind, waardoor vergelijkbare materialen en beelden dichter bij elkaar worden gebracht terwijl ongelijke paren binnen de kenmerkruimte worden gescheiden. Om dit te ondersteunen, construeren we een uitgebreide dataset bestaande uit hoogwaardige synthetische materialen gerenderd met gecontroleerde vormvariaties en diverse lichtomstandigheden, samen met real-world materialen die zijn verwerkt en gestandaardiseerd met behulp van materiaaloverdrachttechnieken. Uitgebreide experimenten tonen de superieure prestaties, nauwkeurigheid en generalisatiecapaciteiten van MaRI aan bij diverse en complexe materiaalretrievaultaken, waarbij bestaande methoden worden overtroffen.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.