UnMix-NeRF: 스펙트럼 언믹싱과 신경 방사 필드의 융합

초록

Neural Radiance Field (NeRF) 기반 분할 방법은 객체 의미론에 초점을 맞추며 RGB 데이터에만 의존하기 때문에 내재적 물질 특성을 결여하고 있다. 이러한 한계는 로보틱스, 증강 현실, 시뮬레이션 및 기타 응용 분야에서 중요한 정확한 물질 인식을 제한한다. 본 연구에서는 스펙트럼 언믹싱을 NeRF에 통합하여 하이퍼스펙트럴 새로운 시점 합성과 비지도 물질 분할을 동시에 가능하게 하는 UnMix-NeRF 프레임워크를 소개한다. 우리의 방법은 확산 및 정반사 성분을 통해 스펙트럼 반사율을 모델링하며, 학습된 전역 엔드멤버 사전은 순수 물질 서명을 나타내고, 점별 풍부도는 이들의 분포를 포착한다. 물질 분할을 위해 학습된 엔드멤버를 따라 스펙트럼 서명 예측을 사용하여 비지도 물질 클러스터링을 가능하게 한다. 또한, UnMix-NeRF는 학습된 엔드멤버 사전을 수정하여 유연한 물질 기반 외관 조작을 가능하게 한다. 광범위한 실험을 통해 우리의 접근 방식이 기존 방법들에 비해 우수한 스펙트럼 재구성 및 물질 분할 성능을 보임을 입증한다. 프로젝트 페이지: https://www.factral.co/UnMix-NeRF.

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.

UnMix-NeRF: 스펙트럼 언믹싱과 신경 방사 필드의 융합

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

초록

Support