UnMix-NeRF: スペクトル分離とニューラルラジアンスフィールドの融合

要旨

Neural Radiance Field (NeRF) に基づくセグメンテーション手法は、物体の意味論に焦点を当て、RGBデータのみに依存しているため、本質的な材料特性を欠いています。この制約は、ロボティクス、拡張現実、シミュレーションなどのアプリケーションにおいて重要な、正確な材料知覚を制限します。本研究では、UnMix-NeRF を紹介します。これは、スペクトルアンミキシングを NeRF に統合し、ハイパースペクトル新視点合成と教師なし材料セグメンテーションを同時に実現するフレームワークです。本手法では、拡散成分と鏡面成分を介してスペクトル反射率をモデル化し、学習されたグローバルエンドメンバーの辞書が純粋な材料シグネチャを表し、ポイントごとの存在量がその分布を捕捉します。材料セグメンテーションでは、学習されたエンドメンバーに沿ったスペクトルシグネチャ予測を使用し、教師なし材料クラスタリングを可能にします。さらに、UnMix-NeRF は、学習されたエンドメンバー辞書を変更することで、柔軟な材料ベースの外観操作を可能にするシーン編集を実現します。広範な実験により、本手法の優れたスペクトル再構成と材料セグメンテーションが既存手法を上回ることが実証されています。プロジェクトページ: https://www.factral.co/UnMix-NeRF。

English

Neural Radiance Field (NeRF)-based segmentation methods focus on object semantics and rely solely on RGB data, lacking intrinsic material properties. This limitation restricts accurate material perception, which is crucial for robotics, augmented reality, simulation, and other applications. We introduce UnMix-NeRF, a framework that integrates spectral unmixing into NeRF, enabling joint hyperspectral novel view synthesis and unsupervised material segmentation. Our method models spectral reflectance via diffuse and specular components, where a learned dictionary of global endmembers represents pure material signatures, and per-point abundances capture their distribution. For material segmentation, we use spectral signature predictions along learned endmembers, allowing unsupervised material clustering. Additionally, UnMix-NeRF enables scene editing by modifying learned endmember dictionaries for flexible material-based appearance manipulation. Extensive experiments validate our approach, demonstrating superior spectral reconstruction and material segmentation to existing methods. Project page: https://www.factral.co/UnMix-NeRF.

UnMix-NeRF: スペクトル分離とニューラルラジアンスフィールドの融合

UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields

要旨

Support