UnMix-NeRF : Démélange spectral et champs de radiance neuronaux

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

papers.authors: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

papers.abstract

Les méthodes de segmentation basées sur Neural Radiance Field (NeRF) se concentrent sur la sémantique des objets et s'appuient uniquement sur des données RVB, manquant ainsi de propriétés matérielles intrinsèques. Cette limitation restreint la perception précise des matériaux, pourtant cruciale pour la robotique, la réalité augmentée, la simulation et d'autres applications. Nous présentons UnMix-NeRF, un cadre qui intègre le démélange spectral dans NeRF, permettant une synthèse de vues nouvelles hyperspectrales et une segmentation non supervisée des matériaux. Notre méthode modélise la réflectance spectrale via des composantes diffuses et spéculaires, où un dictionnaire appris de membres purs globaux représente les signatures matérielles pures, et les abondances par point capturent leur distribution. Pour la segmentation des matériaux, nous utilisons les prédictions de signatures spectrales le long des membres purs appris, permettant un regroupement non supervisé des matériaux. De plus, UnMix-NeRF permet l'édition de scènes en modifiant les dictionnaires de membres purs appris pour une manipulation flexible de l'apparence basée sur les matériaux. Des expériences approfondies valident notre approche, démontrant une reconstruction spectrale et une segmentation des matériaux supérieures aux méthodes existantes. Page du projet : https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.