ThermalNeRF: 熱放射フィールド

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

著者: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

要旨

サーモグラフィーは、農業モニタリングから建物検査、低照度や霧、雨などの視界不良条件下での撮影まで、多岐にわたる応用が可能です。しかし、長波長赤外線（LWIR）画像の比較的低い解像度と限られた特徴量のため、3Dでの熱シーン再構築にはいくつかの課題があります。これらの課題を克服するため、我々はLWIR画像とRGB画像のセットからシーンを再構築するための統一フレームワークを提案します。このフレームワークでは、可視光カメラと赤外線カメラの両方で観測されたシーンを表現するために、マルチスペクトル放射場を利用し、両スペクトルにわたる情報を活用します。前処理ステップとして、簡易なキャリブレーションターゲットを使用してRGBカメラと赤外線カメラを相互にキャリブレーションします。手持ちの熱カメラで撮影した実世界のRGBおよびLWIR写真セットに対して本手法を実証し、可視光および赤外線スペクトルにわたるシーン表現における有効性を示します。本手法は、熱的超解像を実現するだけでなく、RGBまたは熱チャネルのいずれかで遮蔽された物体を視覚的に除去して表示することも可能です。動画結果、コード、およびデータセットのリリースについては、https://yvette256.github.io/thermalnerf をご覧ください。

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.