MaRI: Integración de Recuperación de Materiales entre Dominios

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Autores: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Resumen

La recuperación precisa de materiales es crucial para crear activos 3D realistas. Los métodos existentes dependen de conjuntos de datos que capturan representaciones invariantes en forma y variadas en iluminación de materiales, los cuales son escasos y enfrentan desafíos debido a su diversidad limitada y una generalización insuficiente en el mundo real. La mayoría de los enfoques actuales adoptan técnicas tradicionales de búsqueda de imágenes. Estos no logran capturar las propiedades únicas de los espacios de materiales, lo que resulta en un rendimiento subóptimo en tareas de recuperación. Para abordar estos desafíos, presentamos MaRI, un marco diseñado para cerrar la brecha en el espacio de características entre materiales sintéticos y del mundo real. MaRI construye un espacio de incrustación compartido que armoniza atributos visuales y de materiales mediante una estrategia de aprendizaje contrastivo, entrenando conjuntamente un codificador de imágenes y un codificador de materiales, acercando materiales e imágenes similares mientras separa pares disímiles dentro del espacio de características. Para respaldar esto, construimos un conjunto de datos integral que incluye materiales sintéticos de alta calidad renderizados con variaciones de forma controladas y condiciones de iluminación diversas, junto con materiales del mundo real procesados y estandarizados utilizando técnicas de transferencia de materiales. Experimentos exhaustivos demuestran el rendimiento superior, la precisión y las capacidades de generalización de MaRI en diversas y complejas tareas de recuperación de materiales, superando a los métodos existentes.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.