MaRI: Integrazione del Recupero di Materiali tra Domini

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Autori: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Abstract

Il recupero accurato dei materiali è fondamentale per la creazione di asset 3D realistici. I metodi esistenti si basano su dataset che catturano rappresentazioni dei materiali invarianti rispetto alla forma e variabili rispetto all'illuminazione, che sono scarsi e affrontano sfide dovute alla limitata diversità e alla generalizzazione inadeguata nel mondo reale. La maggior parte degli approcci attuali adotta tecniche tradizionali di ricerca di immagini, che non riescono a catturare le proprietà uniche degli spazi dei materiali, portando a prestazioni subottimali nelle attività di recupero. Per affrontare queste sfide, introduciamo MaRI, un framework progettato per colmare il divario nello spazio delle caratteristiche tra materiali sintetici e reali. MaRI costruisce uno spazio di embedding condiviso che armonizza gli attributi visivi e dei materiali attraverso una strategia di apprendimento contrastivo, addestrando congiuntamente un codificatore di immagini e un codificatore di materiali, avvicinando materiali e immagini simili mentre separa coppie dissimili all'interno dello spazio delle caratteristiche. Per supportare ciò, costruiamo un dataset completo che comprende materiali sintetici di alta qualità resi con variazioni di forma controllate e condizioni di illuminazione diverse, insieme a materiali reali elaborati e standardizzati utilizzando tecniche di trasferimento dei materiali. Esperimenti estesi dimostrano le prestazioni superiori, l'accuratezza e le capacità di generalizzazione di MaRI in diverse e complesse attività di recupero dei materiali, superando i metodi esistenti.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.