UnMix-NeRF: Спектральное разделение и нейронные поля излучения

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

Авторы: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

Аннотация

Методы сегментации на основе Neural Radiance Field (NeRF) сосредоточены на семантике объектов и полагаются исключительно на RGB-данные, не учитывая внутренние свойства материалов. Это ограничение затрудняет точное восприятие материалов, что имеет критическое значение для робототехники, дополненной реальности, симуляции и других приложений. Мы представляем UnMix-NeRF — фреймворк, который интегрирует спектральное разделение в NeRF, обеспечивая совместный синтез новых видов в гиперспектральном диапазоне и неконтролируемую сегментацию материалов. Наш метод моделирует спектральную отражательную способность через диффузные и зеркальные компоненты, где обученный словарь глобальных эндмемберов представляет чистые сигнатуры материалов, а локальные коэффициенты обилия фиксируют их распределение. Для сегментации материалов мы используем предсказания спектральных сигнатур на основе обученных эндмемберов, что позволяет проводить неконтролируемую кластеризацию материалов. Кроме того, UnMix-NeRF позволяет редактировать сцены путем модификации обученных словарей эндмемберов для гибкого управления внешним видом на основе материалов. Многочисленные эксперименты подтверждают эффективность нашего подхода, демонстрируя превосходство в спектральной реконструкции и сегментации материалов по сравнению с существующими методами. Страница проекта: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.