ThermalNeRF: Thermische Radiance Velden

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Auteurs: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Samenvatting

Thermische beeldvorming kent diverse toepassingen, variërend van landbouwmonitoring tot gebouwinspectie en beeldvorming onder slechte zichtomstandigheden, zoals bij weinig licht, mist en regen. Het reconstrueren van thermische scènes in 3D brengt echter verschillende uitdagingen met zich mee vanwege de relatief lagere resolutie en beperkte kenmerken in beelden van langegolf-infrarood (LWIR). Om deze uitdagingen te overwinnen, stellen we een uniform raamwerk voor voor scènereconstructie op basis van een set LWIR- en RGB-beelden, waarbij we een multispectraal stralingsveld gebruiken om een scène weer te geven die wordt waargenomen door zowel zichtbare als infraroodcamera's, waardoor informatie uit beide spectra wordt benut. We kalibreren de RGB- en infraroodcamera's ten opzichte van elkaar als een preprocessing-stap met behulp van een eenvoudig kalibratiedoel. We demonstreren onze methode op real-world sets van RGB- en LWIR-foto's die zijn vastgelegd met een handzame thermische camera, waarbij we de effectiviteit van onze methode aantonen bij het representeren van scènes over het zichtbare en infrarode spectrum. We laten zien dat onze methode in staat is tot thermische superresolutie, evenals het visueel verwijderen van obstakels om objecten te onthullen die in de RGB- of thermische kanalen zijn afgedekt. Zie https://yvette256.github.io/thermalnerf voor videoresultaten, evenals onze code en datasetrelease.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.