UnMix-NeRF: Scomposizione Spettrale incontra i Campi di Radianza Neurale

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

Autori: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

Abstract

I metodi di segmentazione basati su Neural Radiance Field (NeRF) si concentrano sulla semantica degli oggetti e si affidano esclusivamente ai dati RGB, mancando di proprietà intrinseche dei materiali. Questa limitazione ostacola una percezione accurata dei materiali, che è cruciale per la robotica, la realtà aumentata, la simulazione e altre applicazioni. Introduciamo UnMix-NeRF, un framework che integra lo scomposizione spettrale nel NeRF, consentendo la sintesi di nuove viste iperspettrali congiunta e la segmentazione non supervisionata dei materiali. Il nostro metodo modella la riflettanza spettrale attraverso componenti diffuse e speculari, dove un dizionario appreso di endmember globali rappresenta le firme pure dei materiali, e le abbondanze per punto catturano la loro distribuzione. Per la segmentazione dei materiali, utilizziamo previsioni di firme spettrali lungo gli endmember appresi, consentendo il clustering non supervisionato dei materiali. Inoltre, UnMix-NeRF consente la modifica della scena alterando i dizionari di endmember appresi per una manipolazione flessibile dell'aspetto basata sui materiali. Esperimenti estensivi convalidano il nostro approccio, dimostrando una ricostruzione spettrale e una segmentazione dei materiali superiori rispetto ai metodi esistenti. Pagina del progetto: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.