ThermalNeRF: Campi di Radianza Termica

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Autori: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Abstract

La termografia ha una varietà di applicazioni, dal monitoraggio agricolo all'ispezione degli edifici, fino all'acquisizione di immagini in condizioni di scarsa visibilità, come in caso di luce ridotta, nebbia e pioggia. Tuttavia, la ricostruzione di scene termiche in 3D presenta diverse sfide a causa della risoluzione relativamente inferiore e delle caratteristiche limitate presenti nelle immagini a infrarossi a onda lunga (LWIR). Per superare queste sfide, proponiamo un framework unificato per la ricostruzione di scene da un insieme di immagini LWIR e RGB, utilizzando un campo di radianza multispettrale per rappresentare una scena osservata sia da telecamere visibili che a infrarossi, sfruttando così le informazioni provenienti da entrambi gli spettri. Calibriamo le telecamere RGB e a infrarossi reciprocamente, come passaggio di pre-elaborazione utilizzando un semplice target di calibrazione. Dimostriamo il nostro metodo su set reali di fotografie RGB e LWIR acquisite da una termocamera portatile, mostrando l'efficacia del nostro metodo nella rappresentazione delle scene attraverso gli spettri visibile e infrarosso. Mostriamo che il nostro metodo è in grado di eseguire la super-risoluzione termica, oltre a rimuovere visivamente gli ostacoli per rivelare oggetti che sono occlusi nei canali RGB o termici. Si prega di consultare https://yvette256.github.io/thermalnerf per i risultati video, nonché per il rilascio del nostro codice e dataset.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.