暗所におけるロバストかつ3D対応のRGB-NIRイメージングに向けて

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

July 31, 2026

著者: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

cs.AI

要旨

ロバストな低照度イメージングは、依然として研究コミュニティにとって困難な課題である。近年の研究では、ノイズを含むRGB画像と近赤外線（NIR）画像を融合して改善を図る手法が検討されてきたが、ほとんどの手法は厳選された学習データのペアに依存しており、様々なシナリオに対するロバスト性は限られている。本論文は、3D対応ニューラルモデリングを組み込むことで、RGB-NIR低照度イメージングに新たな視点を提供する。クリーンなRGB教師信号を用いることなく、強力なモデルを最適化して、極めてノイズの多いRGB観測とNIR手がかりを3D空間で暗黙的に融合し、クリーンなRGB画像を効果的に復元できる。提案モデルは、クリーンなRGBデータ収集の必要性を排除し、異なるノイズレベルにわたって汎化する。合成データと実データを用いた広範な評価により、その優位性が実証される。コードは https://github.com/MyNiuuu/3DarkFusion で公開している。

English

Robust low-light imaging remains challenging for the community. Recent studies have explored fusing Near-Infrared (NIR) with noisy RGB to achieve improved enhancement, yet most methods depend on carefully curated training data pairs, with limited robustness under different scenarios. This paper offers a new perspective for RGB-NIR low-light imaging by incorporating 3D-aware neural modeling. Without using clean RGB supervision, a powerful model can be optimized to implicitly fuse extremely noisy RGB observations with NIR cues in 3D space, effectively recovering clean RGB images. The proposed model obviates the requirement for clean RGB data collection, generalizes across different noise levels. Extensive evaluations on synthetic and real data demonstrate its superiority. Codes available: https://github.com/MyNiuuu/3DarkFusion