ThermalNeRF: Thermische Strahlungsfelder

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Autoren: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Zusammenfassung

Die thermische Bildgebung hat eine Vielzahl von Anwendungen, von der landwirtschaftlichen Überwachung über die Gebäudeinspektion bis hin zur Bildgebung bei schlechter Sicht, wie bei schwachem Licht, Nebel und Regen. Die Rekonstruktion thermischer Szenen in 3D birgt jedoch mehrere Herausforderungen aufgrund der im Vergleich zu anderen Bildern mit langwelligem Infrarot (LWIR) niedrigeren Auflösung und begrenzten Merkmale. Um diese Herausforderungen zu überwinden, schlagen wir einen einheitlichen Rahmen für die Szenenrekonstruktion aus einer Reihe von LWIR- und RGB-Bildern vor, wobei ein multispektrales Strahlungsfeld verwendet wird, um eine Szene darzustellen, die von sichtbaren und Infrarotkameras betrachtet wird und somit Informationen über beide Spektren nutzt. Wir kalibrieren die RGB- und Infrarotkameras zueinander als Vorverarbeitungsschritt unter Verwendung eines einfachen Kalibrierungsziels. Wir demonstrieren unsere Methode an realen Sets von RGB- und LWIR-Fotografien, die mit einer handgehaltenen Wärmebildkamera aufgenommen wurden, und zeigen die Wirksamkeit unserer Methode bei der Szenendarstellung über die sichtbaren und Infrarotspektren hinweg. Wir zeigen, dass unsere Methode zur thermischen Superauflösung in der Lage ist und visuell Hindernisse entfernt, um Objekte freizulegen, die in den RGB- oder Wärmebildkanälen verdeckt sind. Bitte besuchen Sie https://yvette256.github.io/thermalnerf für Videobeweise sowie unseren Code und die Veröffentlichung des Datensatzes.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.