MaRI: 도메인 간 재료 검색 통합

MaRI: Material Retrieval Integration across Domains

March 11, 2025

저자: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

초록

정확한 재질 검색은 사실적인 3D 자산을 생성하는 데 있어 매우 중요합니다. 기존 방법들은 형태 불변성과 조명 변화를 포착한 데이터셋에 의존하는데, 이러한 데이터셋은 희소하며 다양성 부족과 실제 세계로의 일반화 부족으로 인한 문제에 직면해 있습니다. 현재 대부분의 접근 방식은 전통적인 이미지 검색 기술을 채택하고 있습니다. 그러나 이러한 방법들은 재질 공간의 고유한 특성을 포착하는 데 한계가 있어 검색 작업에서 최적의 성능을 발휘하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 합성 재질과 실제 재질 간의 특징 공간 차이를 해소하기 위해 설계된 MaRI 프레임워크를 소개합니다. MaRI는 이미지와 재질 인코더를 공동으로 학습하는 대조 학습 전략을 통해 시각적 속성과 재질 속성을 조화시키는 공유 임베딩 공간을 구축함으로써, 유사한 재질과 이미지를 가깝게 만들고 비슷하지 않은 쌍을 특징 공간 내에서 분리합니다. 이를 지원하기 위해, 우리는 제어된 형태 변화와 다양한 조명 조건으로 렌더링된 고품질 합성 재질과 재질 전이 기법을 통해 처리 및 표준화된 실제 재질로 구성된 포괄적인 데이터셋을 구축했습니다. 광범위한 실험을 통해 MaRI가 다양한 복잡한 재질 검색 작업에서 우수한 성능, 정확성 및 일반화 능력을 보이며 기존 방법들을 능가함을 입증했습니다.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.