ThermalNeRF: Campos de Radiancia Térmica

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Autores: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Resumen

La termografía tiene una variedad de aplicaciones, desde el monitoreo agrícola hasta la inspección de edificios y la imagen en condiciones de visibilidad reducida, como en condiciones de poca luz, niebla y lluvia. Sin embargo, la reconstrucción de escenas térmicas en 3D presenta varios desafíos debido a la resolución comparativamente más baja y a las características limitadas presentes en las imágenes de infrarrojo de onda larga (LWIR). Para superar estos desafíos, proponemos un marco unificado para la reconstrucción de escenas a partir de un conjunto de imágenes LWIR y RGB, utilizando un campo de radiancia multiespectral para representar una escena vista por cámaras visibles e infrarrojas, aprovechando así la información a lo largo de ambos espectros. Calibramos las cámaras RGB e infrarrojas entre sí, como paso de preprocesamiento utilizando un sencillo objetivo de calibración. Demostramos nuestro método en conjuntos de fotografías RGB y LWIR del mundo real capturadas desde una cámara térmica portátil, mostrando la efectividad de nuestro método en la representación de escenas a lo largo de los espectros visible e infrarrojo. Mostramos que nuestro método es capaz de superresolución térmica, así como de eliminar visualmente obstáculos para revelar objetos que están ocultos en los canales RGB o térmico. Consulte https://yvette256.github.io/thermalnerf para ver los resultados en video, así como nuestro código y la liberación del conjunto de datos.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.