MaRI: Интеграция поиска материалов в различных областях

MaRI: Material Retrieval Integration across Domains

March 11, 2025

Авторы: Jianhui Wang, Zhifei Yang, Yangfan He, Huixiong Zhang, Yuxuan Chen, Jingwei Huang

cs.AI

Аннотация

Точное извлечение материалов имеет решающее значение для создания реалистичных 3D-объектов. Существующие методы опираются на наборы данных, которые фиксируют представления материалов, инвариантные к форме и варьирующиеся в зависимости от освещения, однако такие данные ограничены в разнообразии и сталкиваются с трудностями в обобщении на реальные условия. Большинство современных подходов используют традиционные методы поиска изображений, которые не способны эффективно учитывать уникальные свойства пространств материалов, что приводит к неоптимальной производительности в задачах извлечения. Для решения этих проблем мы представляем MaRI — фреймворк, предназначенный для устранения разрыва в пространстве признаков между синтетическими и реальными материалами. MaRI создает общее пространство встраивания, которое гармонизирует визуальные и материальные атрибуты с помощью стратегии контрастного обучения, совместно обучая кодировщик изображений и кодировщик материалов, сближая похожие материалы и изображения и разделяя непохожие пары в пространстве признаков. Для поддержки этого мы создаем всеобъемлющий набор данных, включающий высококачественные синтетические материалы, отрендеренные с контролируемыми вариациями формы и разнообразными условиями освещения, а также реальные материалы, обработанные и стандартизированные с использованием техник переноса материалов. Многочисленные эксперименты демонстрируют превосходную производительность, точность и способность к обобщению MaRI в разнообразных и сложных задачах извлечения материалов, превосходя существующие методы.

English

Accurate material retrieval is critical for creating realistic 3D assets. Existing methods rely on datasets that capture shape-invariant and lighting-varied representations of materials, which are scarce and face challenges due to limited diversity and inadequate real-world generalization. Most current approaches adopt traditional image search techniques. They fall short in capturing the unique properties of material spaces, leading to suboptimal performance in retrieval tasks. Addressing these challenges, we introduce MaRI, a framework designed to bridge the feature space gap between synthetic and real-world materials. MaRI constructs a shared embedding space that harmonizes visual and material attributes through a contrastive learning strategy by jointly training an image and a material encoder, bringing similar materials and images closer while separating dissimilar pairs within the feature space. To support this, we construct a comprehensive dataset comprising high-quality synthetic materials rendered with controlled shape variations and diverse lighting conditions, along with real-world materials processed and standardized using material transfer techniques. Extensive experiments demonstrate the superior performance, accuracy, and generalization capabilities of MaRI across diverse and complex material retrieval tasks, outperforming existing methods.