ThermalNeRF: 열적 광선장

초록

열화상 기술은 농업 모니터링부터 건물 검사, 그리고 저조도, 안개, 비와 같은 가시성이 낮은 환경에서의 이미징에 이르기까지 다양한 응용 분야를 가지고 있습니다. 그러나 장파장 적외선(LWIR) 이미지의 상대적으로 낮은 해상도와 제한된 특징으로 인해 3D 열화면 장면 재구성에는 여러 가지 어려움이 있습니다. 이러한 문제를 극복하기 위해, 우리는 LWIR과 RGB 이미지 세트로부터 장면을 재구성하기 위한 통합 프레임워크를 제안합니다. 이 프레임워크는 가시광선 및 적외선 카메라로 관찰된 장면을 표현하기 위해 다중 스펙트럼 복사 필드를 사용하여 두 스펙트럼 간의 정보를 활용합니다. RGB와 적외선 카메라를 서로에 대해 보정하는 전처리 단계로 간단한 보정 타겟을 사용합니다. 우리는 핸드헬드 열화상 카메라로 촬영한 실제 RGB 및 LWIR 사진 세트에 대해 이 방법을 시연하여, 가시광선 및 적외선 스펙트럼 전반에 걸친 장면 표현에서의 효과를 보여줍니다. 우리의 방법은 열화상 초해상도뿐만 아니라 RGB 또는 열화상 채널에서 가려진 물체를 시각적으로 제거하여 드러내는 능력도 가지고 있음을 보여줍니다. 비디오 결과와 코드, 데이터셋 릴리스는 https://yvette256.github.io/thermalnerf에서 확인할 수 있습니다.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.

ThermalNeRF: 열적 광선장

ThermalNeRF: Thermal Radiance Fields

초록

Summary

Support

Support