UnMix-NeRF: Spektrale Entmischung trifft auf neuronale Strahlungsfelder

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

papers.authors: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

papers.abstract

Neural Radiance Field (NeRF)-basierte Segmentierungsmethoden konzentrieren sich auf Objektsemantik und stützen sich ausschließlich auf RGB-Daten, wodurch intrinsische Materialeigenschaften fehlen. Diese Einschränkung behindert eine präzise Materialwahrnehmung, die für Robotik, Augmented Reality, Simulation und andere Anwendungen entscheidend ist. Wir stellen UnMix-NeRF vor, ein Framework, das spektrale Entmischung in NeRF integriert und damit die gemeinsame hyperspektrale Neuansichtssynthese und unüberwachte Materialsegmentierung ermöglicht. Unser Verfahren modelliert die spektrale Reflexion über diffuse und spiegelnde Komponenten, wobei ein gelerntes Wörterbuch globaler Endmember reine Materialsignaturen repräsentiert und punktbezogene Häufigkeiten deren Verteilung erfassen. Für die Materialsegmentierung nutzen wir spektrale Signaturvorhersagen entlang der gelernten Endmember, was eine unüberwachte Materialclustering ermöglicht. Zusätzlich ermöglicht UnMix-NeRF die Szenenbearbeitung durch die Modifikation der gelernten Endmember-Wörterbücher für eine flexible materialbasierte Erscheinungsmanipulation. Umfangreiche Experimente validieren unseren Ansatz und zeigen eine überlegene spektrale Rekonstruktion und Materialsegmentierung im Vergleich zu bestehenden Methoden. Projektseite: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.