UnMix-NeRF: Desmezcla Espectral Encuentra Campos de Radiancia Neural

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

Autores: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

Resumen

Los métodos de segmentación basados en Neural Radiance Field (NeRF) se centran en la semántica de objetos y dependen únicamente de datos RGB, careciendo de propiedades intrínsecas de los materiales. Esta limitación restringe la percepción precisa de los materiales, la cual es crucial para aplicaciones en robótica, realidad aumentada, simulación y otros campos. Presentamos UnMix-NeRF, un marco que integra la desmezcla espectral en NeRF, permitiendo la síntesis de nuevas vistas hiperespectrales y la segmentación no supervisada de materiales de manera conjunta. Nuestro método modela la reflectancia espectral a través de componentes difusos y especulares, donde un diccionario aprendido de endmembers globales representa las firmas puras de los materiales, y las abundancias por punto capturan su distribución. Para la segmentación de materiales, utilizamos predicciones de firmas espectrales a lo largo de los endmembers aprendidos, permitiendo la agrupación no supervisada de materiales. Además, UnMix-NeRF permite la edición de escenas mediante la modificación de los diccionarios de endmembers aprendidos, lo que facilita la manipulación flexible de la apariencia basada en materiales. Experimentos exhaustivos validan nuestro enfoque, demostrando una reconstrucción espectral y segmentación de materiales superiores a los métodos existentes. Página del proyecto: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.