ThermalNeRF: Campos de Radiância Térmica

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Autores: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Resumo

A termografia tem uma variedade de aplicações, desde monitoramento agrícola até inspeção de edifícios e imagens em condições de visibilidade reduzida, como em baixa luminosidade, neblina e chuva. No entanto, reconstruir cenas térmicas em 3D apresenta vários desafios devido à resolução relativamente baixa e aos recursos limitados presentes em imagens de infravermelho de onda longa (LWIR). Para superar esses desafios, propomos um framework unificado para reconstrução de cena a partir de um conjunto de imagens LWIR e RGB, utilizando um campo de radiação multiespectral para representar uma cena vista por câmeras visíveis e infravermelhas, aproveitando assim informações em ambos os espectros. Calibramos as câmeras RGB e infravermelha uma em relação à outra, como etapa de pré-processamento, usando um alvo de calibração simples. Demonstramos nosso método em conjuntos de fotografias RGB e LWIR do mundo real capturadas de uma câmera térmica portátil, mostrando a eficácia do nosso método na representação de cena nos espectros visível e infravermelho. Mostramos que nosso método é capaz de super-resolução térmica, bem como remover visualmente obstáculos para revelar objetos ocultos nos canais RGB ou térmico. Consulte https://yvette256.github.io/thermalnerf para ver os resultados em vídeo, bem como nosso código e conjunto de dados.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.