어두운 환경에서의 강건한 3D-인지 RGB-NIR 이미징을 향하여

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

July 31, 2026

저자: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

cs.AI

초록

강건한 저조도 이미징은 여전히 학계의 도전 과제이다. 최근 연구들은 노이즈가 포함된 RGB와 근적외선(NIR)을 융합하여 화질 개선을 달성하고자 하였으나, 대부분의 방법은 정제된 학습 데이터 쌍에 의존하며 다양한 시나리오에서 강건성이 제한적이다. 본 논문은 3D 인지 신경 모델링을 통합함으로써 RGB-NIR 저조도 이미징에 새로운 관점을 제시한다. 제안된 모델은 클린 RGB 지도(supervision) 없이도 심한 노이즈를 포함한 RGB 관측값과 NIR 단서를 3D 공간에서 암시적으로 융합하도록 최적화되어, 클린 RGB 이미지를 효과적으로 복원할 수 있다. 이 모델은 클린 RGB 데이터 수집의 필요성을 제거하며, 다양한 노이즈 수준에 걸쳐 일반화된다. 합성 및 실제 데이터에 대한 광범위한 평가는 제안 방법의 우수성을 입증한다. 코드는 https://github.com/MyNiuuu/3DarkFusion 에서 제공된다.

English

Robust low-light imaging remains challenging for the community. Recent studies have explored fusing Near-Infrared (NIR) with noisy RGB to achieve improved enhancement, yet most methods depend on carefully curated training data pairs, with limited robustness under different scenarios. This paper offers a new perspective for RGB-NIR low-light imaging by incorporating 3D-aware neural modeling. Without using clean RGB supervision, a powerful model can be optimized to implicitly fuse extremely noisy RGB observations with NIR cues in 3D space, effectively recovering clean RGB images. The proposed model obviates the requirement for clean RGB data collection, generalizes across different noise levels. Extensive evaluations on synthetic and real data demonstrate its superiority. Codes available: https://github.com/MyNiuuu/3DarkFusion