ThermalNeRF : Champs de radiance thermique

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Auteurs: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Résumé

L'imagerie thermique trouve des applications variées, allant de la surveillance agricole à l'inspection des bâtiments, en passant par l'imagerie dans des conditions de visibilité réduite, comme en faible luminosité, dans le brouillard ou sous la pluie. Cependant, la reconstruction de scènes thermiques en 3D présente plusieurs défis en raison de la résolution relativement plus faible et des caractéristiques limitées des images infrarouges à ondes longues (LWIR). Pour surmonter ces défis, nous proposons un cadre unifié pour la reconstruction de scènes à partir d'un ensemble d'images LWIR et RGB, en utilisant un champ de radiance multispectral pour représenter une scène vue à la fois par des caméras visibles et infrarouges, exploitant ainsi les informations des deux spectres. Nous calibrons les caméras RGB et infrarouges l'une par rapport à l'autre, comme étape de prétraitement en utilisant une cible de calibration simple. Nous démontrons notre méthode sur des ensembles réels de photographies RGB et LWIR capturées à partir d'une caméra thermique portative, montrant l'efficacité de notre méthode pour la représentation de scènes à travers les spectres visible et infrarouge. Nous montrons que notre méthode est capable de super-résolution thermique, ainsi que de supprimer visuellement les obstacles pour révéler des objets qui sont occultés dans les canaux RGB ou thermiques. Veuillez consulter https://yvette256.github.io/thermalnerf pour les résultats vidéo ainsi que la publication de notre code et de notre jeu de données.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.