UnMix-NeRF: Desmistificação Espectral Encontra Campos de Radiação Neural

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

June 27, 2025

Autores: Fabian Perez, Sara Rojas, Carlos Hinojosa, Hoover Rueda-Chacón, Bernard Ghanem

cs.AI

Resumo

Os métodos de segmentação baseados em Neural Radiance Field (NeRF) concentram-se na semântica de objetos e dependem exclusivamente de dados RGB, carecendo de propriedades intrínsecas de materiais. Essa limitação restringe a percepção precisa de materiais, que é crucial para robótica, realidade aumentada, simulação e outras aplicações. Apresentamos o UnMix-NeRF, um framework que integra a separação espectral ao NeRF, permitindo a síntese de novas vistas hiperspectrais e a segmentação de materiais não supervisionada de forma conjunta. Nosso método modela a reflectância espectral por meio de componentes difusos e especulares, onde um dicionário aprendido de endmembers globais representa assinaturas puras de materiais, e as abundâncias por ponto capturam sua distribuição. Para a segmentação de materiais, utilizamos previsões de assinaturas espectrais ao longo dos endmembers aprendidos, permitindo o agrupamento não supervisionado de materiais. Além disso, o UnMix-NeRF possibilita a edição de cenas ao modificar os dicionários de endmembers aprendidos para uma manipulação flexível da aparência baseada em materiais. Experimentos extensivos validam nossa abordagem, demonstrando reconstrução espectral e segmentação de materiais superiores aos métodos existentes. Página do projeto: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.