MaRI: Integração de Recuperação de Materiais entre Domínios

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Autores: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Resumo

A recuperação precisa de materiais é crucial para a criação de ativos 3D realistas. Os métodos existentes dependem de conjuntos de dados que capturam representações de materiais invariantes à forma e variadas em iluminação, os quais são escassos e enfrentam desafios devido à diversidade limitada e à generalização inadequada para o mundo real. A maioria das abordagens atuais adota técnicas tradicionais de busca de imagens. Elas falham em capturar as propriedades únicas dos espaços de materiais, resultando em desempenho subótimo em tarefas de recuperação. Para enfrentar esses desafios, introduzimos o MaRI, uma estrutura projetada para preencher a lacuna do espaço de características entre materiais sintéticos e do mundo real. O MaRI constrói um espaço de incorporação compartilhado que harmoniza atributos visuais e de materiais por meio de uma estratégia de aprendizado contrastivo, treinando conjuntamente um codificador de imagem e um codificador de material, aproximando materiais e imagens semelhantes enquanto separa pares dissimilares dentro do espaço de características. Para apoiar isso, construímos um conjunto de dados abrangente composto por materiais sintéticos de alta qualidade renderizados com variações controladas de forma e condições de iluminação diversas, juntamente com materiais do mundo real processados e padronizados usando técnicas de transferência de materiais. Experimentos extensivos demonstram o desempenho superior, a precisão e as capacidades de generalização do MaRI em diversas e complexas tarefas de recuperação de materiais, superando os métodos existentes.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.