UnMix-NeRF: Spectrale Ontmenging Ontmoet Neural Radiance Velden

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

Auteurs: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

Samenvatting

Neural Radiance Field (NeRF)-gebaseerde segmentatiemethoden richten zich op object semantiek en vertrouwen uitsluitend op RGB-gegevens, waardoor intrinsieke materiaaleigenschappen ontbreken. Deze beperking belemmert een nauwkeurige materiaalperceptie, wat cruciaal is voor robotica, augmented reality, simulatie en andere toepassingen. Wij introduceren UnMix-NeRF, een raamwerk dat spectrale ontmenging integreert in NeRF, waardoor gezamenlijke hyperspectrale nieuwe weergave-synthese en onbewaakte materiaalsegmentatie mogelijk wordt. Onze methode modelleert spectrale reflectie via diffuse en spiegelende componenten, waarbij een geleerd woordenboek van globale endmembers zuivere materiaalsignaturen vertegenwoordigt, en per-punt abundanties hun distributie vastleggen. Voor materiaalsegmentatie gebruiken we spectrale signatuurvoorspellingen langs geleerde endmembers, wat onbewaakte materiaalclustering mogelijk maakt. Daarnaast maakt UnMix-NeRF scènebewerking mogelijk door geleerde endmemberwoordenboeken aan te passen voor flexibele op materiaal gebaseerde uiterlijkmanipulatie. Uitgebreide experimenten valideren onze aanpak en tonen superieure spectrale reconstructie en materiaalsegmentatie aan in vergelijking met bestaande methoden. Projectpagina: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.